Modèle de langage et reconstruction 3D neurale pour la navigation autonome d'un robot H/F

Saclay

Internship Entry-level / Junior

CEA

Le CEA est un acteur majeur de la recherche, au service de l'État, de l'économie et des citoyens. Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies...

View all jobs at CEA

Apply now Apply later

Posted 1 month ago

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité

Référence

2024-33407

Description de l'unité

Laboratoire Vision pour la Modélisation et la Localisation (LVML) du CEA Tech LIST mène des recherches en vision par ordinateur et intelligence artificielle. Nous adressons en particulier les problématiques suivantes :
-Géolocalisation et cartographie d'environnement par vision et fusion de capteurs (robotique mobile, drones…)
- Systèmes et de vision pour la robotique : préhension, manipulation, assemblage d'objets…
- Contrôle de conformité, détection de défauts géométriques, colorimétriques, etc…
- Analyses hyperspectrales : détection de matériaux, tri, ….
- Correction, amélioration d'images et vidéos ( superrésolution, upframing, …)
- Compression de réseaux de neurones
- …

En nous rejoignant, vous contribuerez au développement l'intelligence artificielle pour la robotique autonome pour l'industrie française et européenne de demain.

Description du poste

Domaine

Autre

Contrat

Stage

Intitulé de l'offre

Modèle de langage et reconstruction 3D neurale pour la navigation autonome d'un robot H/F

Sujet de stage

A la frontière de l'intelligence artificielle et de la robotique, vous travaillerez sur l'exploitation conjointe d'un grand modèle de langage et d'une reconstruction 3D basée sur des approches neurales pour permettre à un robot de naviguer dans son environnement selon des instructions fournies en langage naturel.

Durée du contrat (en mois)

5 à 6 mois

Description de l'offre

Contexte du stage

Si la robotique autonome connaît actuellement de grandes avancées, les intelligences artificielles qui guident ces robots se limitent généralement à une planification à court terme, sur l’environnement immédiat du robot, et pour des domaines de requêtes prédéfinies. Pour aller vers plus de polyvalence, il est nécessaire de développer des Intelligences Artificielles (IA) capable de planifier, sur la base d’une requête en langage naturel, une série d’actions sur des horizons temporels lointain, impliquant des lieux ou des éléments qu’ils ont observés par le passé mais qui sont hors du champ de perception actuel du robot.

Objectifs du stage

Dans le cadre de ce stage, nous proposons d’étudier le domaine du Vision-Language Navigation [1,2,3], domaine de recherche interdisciplinaire à la frontière du traitement naturel du langage, de la vision par ordinateur et de la robotique. L’étudiant aura pour objectif de mettre en place un démonstrateur de navigation robotique autonome exploitant un LLM pour la compréhension de la requête utilisateur et la planification d’actions, ainsi qu’une représentation neurale 3D sémantisée de la scène et d’outils d’analyse de cette dernière pour connecter le LLM au monde réel.
En raison de cet aspect interdisciplinaire, ce stage impliquera à la fois un laboratoire de vision par ordinateur (LVML) et un laboratoire de robotique (LCSR) du CEA.
L’étudiant aura pour charge de :

Prendre en main les représentations neurales 3D développées au laboratoire LVML et mettre en place les outils d’analyse adaptés à la tâche de navigation (recherche de la destination, détection des obstacles...)..
·Mettre en place un LLM en mode REACT pour analyser la requête utilisateur, réaliser la planification de tâches de navigation et invoquer les outils nécessaires (analyse de scène 3D, calcul et suivi de trajectoire...).
Tester et évaluer la méthode dans un simulateur (eg. Habitat).
Mettre en place le démonstrateur sur une plateforme robotique réelle (intégration des algorithmes de localisation, de contrôle-commande, etc., dans le framework robotique ROS).

[1] Volumetric Environment Representation for Vision-Language Navigation. CVPR 2024

[2] Lookahead Exploration with Neural Radiance Representation for Continuous Vision-Language Navigation. CVPR 2024

[3] Vision-and-language navigation: A survey of tasks, methods, and future directions; Arxiv 2022

Rejoignez-nous en Stage !

CEA Tech Corporate from CEA Tech on Vimeo.

En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche renommé . Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des ressources de premier ordre pour mener à bien vos missions.

Profil du candidat

Qu’attendons-nous de vous ?

Vous préparez un diplôme de niveau Master 2, devra disposer de connaissance en IA et en robotique, ainsi qu’une bonne maîtrise de python . Une expérience sur Pytorch et/ou ROS sera appréciée.

Que pouvez-vous espérer du stage

Ce stage permettra à l’étudiant de découvrir le domaine de l’intelligence artificielle pour la robotique, domaine à l’intersection des dernières avancées en terme de reconstruction 3D (Neural Fields, segmentation en vocabulaire ouvert...), du contrôle robotique, et des modèles de langage. L’étudiant découvrira aussi les aspects plus appliqués, avec l’usage de framework largement employés dans la communauté (ROS, NeRFStudion...). L’étudiant aura l’opportunité de travailler avec une équipe de chercheurs seniors mais aussi de doctorants et de découvrir le métier de la recherche.

Informations générales

Formation / Niveau d’étude : Ingénieur, Master 2 / Bac+5
Possibilité poursuite : Oui, en thèse ou CDD selon profil.
Durée : 6 mois
Lieu : Palaiseau (91) – Centre d’intégration de Nano-INNOV
Indemnités de stage : 1400 € / Aide au logement / transport / restauration.

Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles !

Vous avez encore un doute ? Nous vous proposons :

L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,
Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel,
Des moyens expérimentaux exceptionnels et un encadrement de qualité,
De réelles opportunités de carrière à l’issue de votre stage
Une participation aux transports en commun à hauteur de 85%,
Un équilibre vie privée – vie professionnelle reconnu,
Un restaurant d'entreprise,
Une politique diversité et inclusion,

Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l’inclusion des travailleurs handicapés.