Méthodes avancées pour l'optimisation des réseaux neuronaux Transformers H/F

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité
  

Référence

2024-33674  

Description de l'unité

Le Commissariat à l'Energie Atomique et aux Energies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Situé en île de France sud (Saclay), le Laboratoire d'Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions optimisées (vitesse, efficience, consommation, puissance de calcul) pour les systèmes embarqués.
Dans le cadre de ses activités activité le LIAE s'intéresse aux topologies des réseaux de neurones exploitées pour les applications de perception.

Description du poste

Domaine

Sciences pour l'ingénieur

Contrat

Stage

Intitulé de l'offre

Méthodes avancées pour l'optimisation des réseaux neuronaux Transformers H/F

Sujet de stage

L'objectif de ce stage est d'identifier ou de concevoir des méthodes avancées d'optimisation des modèles neuronaux du type Vision Transformers, en tenant en compte des contraintes inhérentes aux environnements embarqués.

Durée du contrat (en mois)

6 mois

Description de l'offre

Récemment, les modèles de type Vision Transformer (ViT) [1] ont été introduits. Ces modèles appartiennent à une catégorie plus large de modèles de fondation (foundation models), qui désignent des architectures d'apprentissage profond pré-entraînées sur de vastes volumes de données et capables de s'adapter à une large gamme de tâches en aval avec un fine-tuning minimal. Ils présentent des performances très élevées ainsi que des propriétés particulièrement intéressantes pour l’apprentissage et leur mise en œuvre, notamment dans le domaine vision. Malgré toutes ces caractéristiques innovantes, la question de l’optimisation et du déploiement de ce modèle dans le domaine de l’embarqué, où les ressources de calcul et la mémoire sont limitées, reste ouverte.

L’objectif de ce stage est donc d'identifier ou de concevoir des méthodes avancées d'optimisation de ces modèles, en tenant en compte des contraintes inhérentes aux environnements embarqués. Cela pourrait inclure la réduction de la complexité algorithmique par exemple en remplaçant des opérations quadratiques couteuses par des alternatives linéaires [2] ou en optimisant la complexité du calcul en substituant certaines opérations telles que  la multiplication par des méthodes moins gourmandes [3]. En plus de ces optimisations structurelles, le stage vise à évaluer la compatibilité de ces améliorations avec le matériel embarqué, en tenant en compte de divers paramètres tels que les besoins en mémoire, la complexité de calcul, la consommation énergétique ainsi que les contraintes de latence.   L'un des principaux enjeux est de s'assurer que les modèles optimisés peuvent s'exécuter efficacement sur des architectures matérielles spécifiques tout en préservant une précision et une robustesse suffisantes.
Dans ce contexte, vous rejoindrez une équipe projet spécialisée dans analyse et l’optimisation matérielle de réseaux neuronaux, avec pour objectif d'accélérer leur déploiement pour des applications de perception.
Vos principales missions seront :
·        Mettre en œuvre le modèle du ViT sur cible PC (CPU+GPU) afin d’en faire une analyse détaillée des aspects tels que la hiérarchie mémoire, la complexité calculatoire, la vitesse d’exécution, la précision ;
·        Identifier les limitations et les contraintes spécifiques du modèle pour l’inférence matérielle sur des plateformes embarquées à ressources contraintes ;
·        Identifier et analyser les mécanismes d’optimisation applicables aux différentes couches du modèle, notamment la linéarisation et le remplacement d'opérateurs ;
·        Optionnellement, si le temps et les résultats le permettent, déployer le modèle optimisé sur un processeur embarqué (p.ex. NVIDIA Orin, Raspberry Pi, STM32) en veillant à ce qu’il soit compatible avec les ressources disponibles.

Pièces à fournir : CV + lettre de motivation + relevés de notes des 3 dernières années

Moyens / Méthodes / Logiciels

Linux / Windows, Python / C++, Server + NVIDIA GPU A100

Profil du candidat

Le candidat doit être motivé, curieux, intéressé par la recherche sur les réseaux neuronaux et l'IA, et disponible de s'intégrer et de collaborer avec ses collègues.

Compétences requises: Connaissance de programmation d'un bon niveau de Python et/ou C++; un peu d'expériences avec Pytorch et les réseaux neuronaux.

Compétences en plus : Connaissance des méthodes pour le traitement d’image, d’optimisation et du matériel embarqué.

 

 

Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.

Localisation du poste

Site

Saclay

Localisation du poste

France, Ile-de-France, Essonne (91)

Ville

Palaiseau ( 91120)

Critères candidat

Langues

• Français (Courant)
• Anglais (Intermédiaire)

Diplôme préparé

Bac+5 - Diplôme École d'ingénieurs

Possibilité de poursuite en thèse

Non

Demandeur

Disponibilité du poste

15/01/2025