Stage Quantification d'un World Model de type JEPA pour une inférence embarquée-Saclay-H/F

Domaine : Sciences pour l'ingénieur

Contrat : Stage

Description du poste :

En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions. Éventuellement, les travaux menés donneront lieu à une publication scientifique. Contexte : Les World Models sont des modèles d’IA qui ouvrent la voie à une nouvelle génération de systèmes autonomes. Ils ont la capacité essentielle de prendre en compte l’impact des actions sur l’environnement permettant ainsi de simuler un grand nombre de séquences d’actions et d’états futurs possibles pour prendre les meilleures décisions. Cependant, les modèles générant des environnements 2D/3D très réalistes nécessitent de vastes bases d’apprentissage, sont trop complexes pour être embarqués sur des systèmes temps réel et restent très sensibles aux bruits des capteurs, ce qui limite leur transfert de la simulation au monde réel. Récemment, les World Models de type JEPA permettent de prédire les caractéristiques essentielles des états futurs à partir d’un espace latent compact, sans avoir à reconstruire les pixels bruts. Ces modèles ont démontré des capacités d’apprentissage, une tolérance au bruit et une vitesse d’inférence remarquables, ce qui en fait de sérieux candidats pour l’autonomie robotique. Qu'attendons-nous de vous ? - Prendre en main LeWorldModel[1] dans ses phases d’inférence et d’apprentissage Identifier les verrous et contraintes pour son embarquabilité Valider ses performances sur un ensemble de datasets représentatifs (ex. en utilisant l’environnement stable-WM[2]) Effectuer son profiling statique et dynamique - Identifier et analyser les mécanismes de compression, en particulier la quantification, pouvant s’appliquer à ce modèle en s’appuyant sur les techniques de l’état de l’art et celles déjà mises en œuvre au sein du laboratoire - Développer un modèle permettant d’estimer l’impact de la quantification de certaines parties du réseau sur les performances applicatives et sur l’embarquabilité du modèle. - Le candidat pourra également être amené à valider ses résultats par une exécution réelle sur une des cartes GPU embarquée basse consommation disponible au sein du laboratoire (exemple : Nvidia Jetson Orin).

Pour mener à bien ces missions, le stagiaire pourra s’appuyer sur les connaissances de l’équipe concernant les techniques de quantification ainsi que sur le framework de deep learning, développé au LIAE, pour le profiling, la compression et l’export sur cible matérielle (Aidge[3]).

[1] https://le-wm.github.io/ [2] https://github.com/galilai-group/stable-worldmodel [3] https://eclipse.dev/aidge/

#Cea-List

Profil : Fin d’étude ingénieur ou master 2 Compétences : Python et C++ (obligatoire), Connaissances en deep learning (obligatoire) et en développement sur système embarqué (souhaité)

Ville : Saclay