Stagiaire

ContexteLa distillation de connaissance (Knowledge Distillation) est une technique de compression de modèles où un modèle compact (étudiant ou student) est entraîné pour imiter les prédictions d'un modèle plus grand et plus performant (enseignant ou teacher). Cette méthode permet à l'étudiant d'acquérir une capacité de généralisation souvent supérieure par rapport à un entraînement classique sur les données brutes.Toutefois, cette approche souffre d'une limitation fondamentale : le caractère statique de l'enseignant. Ses paramètres, une fois pré-entraînés, sont figés. Par conséquent, le transfert de connaissance se limite à ses prédictions (soft targets), tandis que la connaissance implicite contenue dans le processus d'ajustement de ses poids reste inexploitée. L'étudiant est ainsi privé d'une information cruciale sur la manière dont l'enseignant apprend, ce qui l'empêche de capturer toute (ou une partie de) la complexité du modèle enseignant.L’objectif de ce stage est d’explorer une nouvelle approche basée sur l’apprentissage collaboratif, qui permet un partage profond de connaissances entre les modèles enseignant et étudiant. L'approche proposée sera appliquée à la reconnaissance de la parole basée sur la Classification Temporelle Connexionniste (Connectionist Temporal Classification).Missions principalesEtat de l'art: Analyser les travaux de recherche actuels sur la distillation collaborative de connaissances (Collaborative Knowledge Distillation), en particulier pour la reconnaissance de la parole.Agrégation des connaissances: Déterminer comment combiner efficacement les connaissances issues de plusieurs réseaux de neurones.Stabilisation de l'apprentissage: Concevoir des mécanismes de régularisation afin de garantir un processus d'entraînement stable et équilibré.Evaluation de la robustesse: Tester les modèles dans différentes conditions afin d'évaluer leur robustesse et valider leur fiabilité.Profil recherchéNiveau d'études: étudiant(e) en Master/ Bac + 5Background: Solides connaissances en machine learning et deep learningCompétences techniques: Bonne maîtrise de Python et expérience avec Pytorch, numpy.Atouts appréciés: expérience en transformer, modèles de fondation pour la reconnaissance de la parole (Wav2Vec2, Hubert, WavLM), traitement de la parole.ModalitésDébut: Septembre/OctobreDurée: 6 moisLieu: Université de Technologie de Troyes.Langues: Français/AnglaisSecteur d'activité: Recherche académiqueContactMohammed-Faouzi Benzeghiba, Université de Technologie de Troyes – LIST3N (Equipe MSAD), mohammed_faouzi.benzeghiba@utt.fr