Exploitation de la sparsité pour la réduction de la taille de modèle des réseaux ViT

Saclay

Internship Entry-level / Junior

CEA

Le CEA est un acteur majeur de la recherche, au service de l'État, de l'économie et des citoyens. Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies...

View all jobs at CEA

Apply now Apply later

Posted 5 hours ago

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité

Référence

2024-33270

Description de l'unité

Le Commissariat à l'Energie Atomique et aux Energies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique intervient dans trois grands domaines : l'énergie, les technologies pour l'information et la santé et la défense. Reconnu comme un expert dans ses domaines de compétences, le CEA est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Situé en île de France sud (Saclay), le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies et de favoriser l'innovation dans le domaine des systèmes embarqués. Au sein du LIST, le Laboratoire Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions optimisées (surface, consommation, puissance de calcul) pour les systèmes embarqués.

Description du poste

Domaine

Sciences pour l'ingénieur

Contrat

Stage

Intitulé de l'offre

Exploitation de la sparsité pour la réduction de la taille de modèle des réseaux ViT

Sujet de stage

Exploitation de sparsité par compression de matrice sur des modèles Transformer

Durée du contrat (en mois)

Description de l'offre

Les modèles Transformers (ViT [1]/LLM) ont connu un essor considérable ces deux dernières années avec des performances très élevées, Cependant, ils demeurent des modèles relativement complexes, et leur déploiement dans le domaine de l’embarqué fait face à plusieurs défis. Dans le cadre de ses activités sur la compression de modèle de réseaux de neurones en vue de les implémenter sous forme d’inférence légère, le LIAE s’intéresse à l’exploitation de la sparsité [2]. Il s’agit de tirer parti du nombre de « zéro » présents dans des matrices/tenseurs d’activations et/ou de poids pour réduire la taille de la mémoire requise et le nombre d’opérations induites.

Dans ce contexte, l’objectif de ce stage est d’identifier et de mettre en place des techniques d’organisation de la sparsité (semi-structuré/structuré) dans un réseau ViT. Dans ce contexte, les principales missions du candidat seront les suivantes:

- Déployer un réseau ViT existant comme base de référence

- Identifier et analyser les mécanismes de création ou d'augmentation de la sparsité,

- Identifier et analyser les mécanismes de réorganisation des matrices (stockage mémoire efficace), en particulier autour des fonctions d’activations, pouvant s’appliquer à ce modèle.

- Mettre en place des solutions et caractériser les gains et/ou des pertes observées en terme de taille et de performance.

- Proposer dans la mesure du possible de piste d’implémentation d’un support matériel pour une implémentation embarquée.

Une bonne expérience avec Pytorch et cibles embarquées serait appréciée.

[1] https://arxiv.org/abs/2304.07193

[2] https://www.mdpi.com/2301878

Moyens / Méthodes / Logiciels

Moyens : Linux, Versionnage Git, PC/GPU, IDE

Profil du candidat

Niveau demandé : diplôme master (BAC+5)

Compétences : Système embarqué, IA, Python, traitement d’image, Pytorch

Pièces à fournir : CV + lettre de motivation + relevés de notes des 3 dernières années

Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.