Stage H/F

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité
  

Référence

2024-33882  

Description de l'unité

Le présent stage se déroulera au sein de l’institut CEA LIST, dans les locaux du CEA Grenoble, dans le laboratoire LIIM (Laboratoire Intelligence Intégrée Multi-capteurs). Ce laboratoire se consacre au développement d'algorithmes pour l'Intelligence Artificielle Embarquée, la fusion de données et la perception environnementale déployés dans les systèmes cyber-physiques. Le laboratoire développe des plateformes de démonstration matérielles et logicielles utilisant ces algorithmes combinés à des technologies innovantes fréquemment intégrées dans des circuits intégrés.

Description du poste

Domaine

Composants et équipements électroniques

Contrat

Stage

Intitulé de l'offre

Stage H/F

Sujet de stage

Les réseaux Kolmogorov-Arnold sont-ils adaptés aux systèmes embarqués ?

Durée du contrat (en mois)

6

Description de l'offre

Les réseaux Kolmogorov-Arnold ont récemment fait l'objet d'une attention accrue [1], en tant qu'alternative aux réseaux perceptrons multicouches (MLP) aujourd’hui utilisés dans de nombreuses applications d'apprentissage profond (Deep Learning).

Dans les MLP, les neurones exécutent des fonctions d'activation prédéfinies et non linéaires sur la somme pondérée de leurs valeurs d'entrée (connexions). Les poids linéaires sur les connexions sont ajustés pendant la phase d'entraînement du réseau.

A l’inverse, les modèles KAN ont des fonctions d'activation qui ne sont pas fixes et qui sont ajustées à l’apprentissage. Des fonctions de base paramétrables, comme des B-splines, sont utilisées. En apprenant les coefficients de ces fonctions, les KAN peuvent obtenir des fonctions d'activation très flexibles et expressives sur chaque connexion. Ensuite, les neurones KAN additionnent simplement les valeurs des entrées au niveau des nœuds.

Les modèles à base de KAN ont le potentiel d'offrir de meilleures performances avec une taille plus compacte. Les fonctions de base paramétrables sont plus expressives qu'une série de projections linéaires combinées à des activations fixes et non linéaires. Par conséquent, il est potentiellement possible de construire un modèle pour résoudre un problème donné avec un nombre réduit de ces fonctions comparés à la combinaison de poids et de fonctions d’activation.

Néanmoins, les KAN ont également des inconvénients. Comme les fonctions de base sont plus complexes, la littérature fait état de temps d'apprentissage plus longs ; de plus les bons hyper-paramètres pour les modèles sont plus difficiles à identifier. Un autre problème important est le risque de surapprentissage (overfitting). Comme les fonctions de base sont plus complexes, on peut observer un surajustement sur le jeu de données d’entrainement ne permettant pas la généralisation par la suite.

Dans ce contexte, la principale question visée dans ce stage est la suivante : quel est le potentiel des réseaux de Kolmogorov-Arnold dans les systèmes d'intelligence artificielle (IA) embarqués ? Sont-ils vraiment plus performants et plus efficaces (en termes de ressources de calcul nécessaires à l'inférence) ?

L'étude sera menée sur des tâches de traitement de séries temporelles comme de la prédiction ou de la détection. Une application candidate est par exemple la détection de mots-clés. Deux versions de cette application pourraient être étudiées, évaluées et comparées : un KAN [2] et une implémentation basée sur des transformeurs [3].

Références :

[1] Liu, Ziming, et al. "Kan: Kolmogorov-arnold networks," arXiv:2404.19756 (2024)

[2] Xu, Anfeng, et al. "Effective Integration of KAN for Keyword Spotting," arXiv:2409.08605 (2024)

[3] A. Berg, M. O’Connor, et M. T. Cruz, “Keyword Transformer: A Self-Attention Model for Keyword Spotting,” arXiv:2104.00769 (2021)

Moyens / Méthodes / Logiciels

Python, Pytorch, GPU

Profil du candidat

• Fin d'étude d'ingénieur ou Master 2 (Bac+5)
• Compétences en systèmes embarqués, programmation, calcul numérique
• Connaissance sur l'intelligence artificielle, réseaux de neuronnes
• Programmation Python/C/C++
• Expérience sur PyTorch

Localisation du poste

Site

Grenoble

Localisation du poste

France, Auvergne-Rhône-Alpes, Isère (38)

Ville

  Grenoble

Critères candidat

Langues

Anglais (Intermédiaire)

Diplôme préparé

Bac+5 - Master 2

Formation recommandée

Master 2 recherche et/ou dernière année d'école d'ingénieur - IA/Informatique/Systèmes Embarqués

Possibilité de poursuite en thèse

Oui

Demandeur

Disponibilité du poste

03/02/2025