Vers une cartographie active pour la navigation robotique basée Neural Fields H/F

Saclay

Internship Entry-level / Junior

CEA

Le CEA est un acteur majeur de la recherche, au service de l'État, de l'économie et des citoyens. Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies...

View all jobs at CEA

Apply now Apply later

Posted 3 weeks ago

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité

Référence

2024-33706

Description de l'unité

Situé en île de France (Saclay), le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies et de favoriser l'innovation pour les systèmes embarqués.
Au sein du LIST, le Laboratoire Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions de perception optimisées (surface, consommation, puissance de calcul) pour les systèmes embarqués.

En nous rejoignant, vous contribuerez au développement des IA embarquées utilisées dans l'industrie française et européenne de demain.

Description du poste

Domaine

Sciences pour l'ingénieur

Contrat

Stage

Intitulé de l'offre

Vers une cartographie active pour la navigation robotique basée Neural Fields H/F

Sujet de stage

Conception d'un démonstrateur pour intégrer un module de reconstruction 3D basé NeRF sur une plateforme robotique mobile, d'évaluer la qualité de la reconstruction et l'optimiser en rétroagissant sur la navigation du robot.

Durée du contrat (en mois)

6 mois

Description de l'offre

Rejoignez-nous en Stage !

CEA Tech Corporate from CEA Tech on Vimeo.

Description du poste :

Depuis 2020, les réseaux de neurones NeRF [1], ou Neural Radiance Fields, ont été l’objet d’un intérêt croissant de la communauté scientifique, principalement en rendu graphique. Ces méthodes permettent, à partir de quelques points de vues d’une scène, d’en calculer une représentation 3D implicite capturant la géométrie et les propriétés de réflectivité. Les premiers cas d’applications ont été la reconstruction 3D et la synthèse de nouveaux points photo-réalistes. Ces dernières années, l’effervescence autour de ce sujet a mené la communauté à apporter de nouvelles méthodes permettant de surpasser les limitations initiales de ces NeRFs: besoin de moins d’images pour la reconstruction, de moins de mémoire et en particulier accélération [2] de la reconstruction et du rendu. Le Laboratoire de Vision pour la Modélisation et la Localisation (LVML) du CEA développe actuellement une méthode [3] incrémentale de reconstruction, RING-NeRF, qui va dans le sens de rendre adaptative la complexité et la précision du modèle (en fonction du nombre d’images conservées ou d’autres heuristiques). Un des objectifs de cette méthode est de pouvoir effectuer des missions de navigation robotique autonome.
Des premiers travaux au LIAE ont montré la possibilité d’exécuter cette méthode sur une plateforme embarquée NVidia Jetson Orin et des travaux sont en cours pour optimiser son exécution pour atteindre un fonctionnement compatible avec un contexte embarqué. De plus, le LIAE dispose d’une plateforme de navigation robotique pour l’exploration d’environnements inconnus basée sur un robot Pioneer3DX [4], intégrant entre autres une heuristique d’exploration maximisant la surface explorée par unité de temps et un module de SLAM visuel (Simultaneous Localization and Mapping) estimant la pose (position et orientation du robot).

L’objectif de ce stage est alors d’intégrer le module de reconstruction de modèle NeRF issu des travaux du LVML sur la plateforme de navigation robotique. Ce module NeRF prendra comme données d’entrée les images et les poses issues du SLAM et s’exécutera en parallèle des autres applications sur le robot. Le premier objectif sera de mettre en place le framework logiciel permettant les interactions entre SLAM et NeRF sur le système de calcul embarqué sur le robot (composé d’un NUC Intel et Nvidia Jetson). Une étude des capacités de calcul du système est à effectuer. Dans un second temps, une évaluation de la qualité de cette reconstruction sera à effectuer, puis des critères permettant de mieux guider la navigation (par exemple pour une meilleure définition des prochains points de navigations) sera proposée.

Références:

[1] https://www.matthewtancik.com/nerf
[2] https://nvlabs.github.io/instant-ngp/
[3] RING-NeRF : https://github.com/CEA-LIST/RING-NeRF
[4] Pioneer3DX : https://www.generationrobots.com/media/Pioneer3DX-P3DX-RevA.pdf

Moyens / Méthodes / Logiciels

Linux, PC/NVIDIA jetson, Git

Profil du candidat

Qu’attendons-nous de vous ?

Vous préparez un diplôme de niveau ingénieur / master (Bac + 5) dans le domaine de la robotique, IA.

Vous êtes passionné par la robotique et l'Intelligence artificielle.

Compétences:

langage C/C++, Python, IA, ROS, traitement d’image, Neural Fields

Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles !

Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.