Le sujet porte sur le développement d'un modèle de fondation de type Transformer entraîné de manière auto-supervisée sur des données transcriptomiques (bulk RNA-seq). Pour surmonter le coût computationnel élevé lié à la forte dimensionnalité des gènes, l'approche consiste à modéliser les données à l'échelle des voies biologiques. Le modèle sera pré-entraîné sur de vastes collections non annotées selon différentes stratégies (reconstruction, contrastif), puis évalué sur des tâches de transfert supervisées (TCGA : prédiction de cancer, survie) en régime de faibles données. L'enjeu est de déterminer si cette représentation par voies biologiques permet de réduire drastiquement la complexité de calcul tout en préservant la transférabilité face aux modèles état de l'art opérant au niveau des gènes.

• Niveaux d’étude
• Stage Bac+5