Ce stage de recherche de 5 à 6 mois, au laboratoire DAVID de l’UVSQ, porte sur le développement de Transformers plus efficaces, capables d’adapter leur coût de calcul à chaque entrée. L’objectif est de concevoir des mécanismes de sélection adaptative des têtes d’attention et des tokens afin de réduire les coûts de calcul, la mémoire et la consommation énergétique, tout en préservant les performances. Les méthodes développées seront évaluées sur des tâches de classification de texte, de question-answering et de génération.

• Niveaux d’étude
• Stage Bac+5