Stage en vision par ordinateur et deep learning H/F

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité
  

Référence

2024-33727  

Description de l'unité

Laboratoire Vision pour la Modélisation et la Localisation (LVML) du CEA Tech LIST mène des recherches en vision par ordinateur et intelligence artificielle. Nous adressons en particulier les problématiques suivantes :
- Géolocalisation et cartographie d'environnement par vision et fusion de capteurs (robotique mobile, drones…)
- Systèmes et de vision pour la robotique : préhension, manipulation, assemblage d'objets…
- Contrôle de conformité, détection de défauts géométriques, colorimétriques, etc…
- Analyses hyperspectrales : détection de matériaux, tri, ….
- Correction, amélioration d'images et vidéos ( superrésolution, upframing, …)
- Compression de réseaux de neurones
Laboratoire Vision pour la Modélisation et la Localisation (LVML) du CEA Tech LIST mène des recherches en vision par ordinateur et intelligence artificielle. Nous adressons en particulier les problématiques suivantes :
- Géolocalisation et cartographie d'environnement par vision et fusion de capteurs (robotique mobile, drones…)
- Systèmes et de vision pour la robotique : préhension, manipulation, assemblage

Description du poste

Domaine

Mathématiques, information  scientifique, logiciel

Contrat

Stage

Intitulé de l'offre

Stage en vision par ordinateur et deep learning H/F

Sujet de stage

Apprentissage profond pour l'interprétation de représentations 3D implicites

Durée du contrat (en mois)

6

Description de l'offre

Contexte du stage
Le développement de robots autonomes, qu’il s’agisse de robots terrestres comme volants, nécessite la mise en place d’intelligences artificielles (IA) capables d’interpréter l’environnement observé par ce dernier. Pour pouvoir raisonner au-delà du seul environnement observable par ses capteurs à l’instant courant, le robot doit construire une carte 3D l’environnement qu’il a observé au cours de ses déplacements et disposer de moyens pour interpréter cette carte 3D.
Actuellement, les nuages de points 3D correspondent à la représentation 3D la plus utilisée pour cette tâche, et de nombreuses solutions de Deep Learning ont été proposées pour leur interprétation. Plus récemment, des représentation 3D exploitant des réseaux de neurones ont été introduites [1,2]. Ces représentations, généralement désignées sous le terme de Neural Fields, ont démontré des bonnes performances en terme de reconstruction, mais très peu de travaux ont investigué la manière d’interpréter directement ces représentations à l’aide d’un réseau de neurones.
[1]: Representing Scenes as Neural Radiance Fields for View Synthesis, Ben Mildenhall and Pratul P. Srinivasan and Matthew Tancik and Jonathan T. Barron and Ravi Ramamoorthi and Ren N, 2020, ECCV
[2] Müller, T., Evans, A., Schied, C., & Keller, A. (2022). Instant neural graphics primitives with a multiresolution hash encoding. ACM Transactions on Graphics (ToG), 41(4), 1-15.
Objectifs du stage
Ce stage a pour objectif de proposer une solution d’interprétation par réseaux de neurones de scènes 3D représentées sous forme de Neural Fields.
Le stage aura pour objectifs de :
- Etudier l’usage des architectures classiques (CNN, Transformers…) dans le cadre de l’interprétation de Neural Fields
- Etudier le co-design d’une représentation Neural Fields et de sa méthode d’interprétation afin d’obtenir le meilleur compromis qualité de reconstruction 3D/qualité d’interprétation possible.
- Evaluer les performances de la méthode proposée
Compétences souhaitées

Ce stage permettra à l’étudiant de découvrir d’une part le domaine extrêmement dynamique des représentations 3D neurales, et d’autre part celui de l’interprétation de scène 3D.

Profil du candidat

Le candidat devra disposer d’une bonne maîtrise de python et d’une forte connaissance en réseau de neurones. Une expérience sur Pytorch sera appréciée.

 

Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.

Localisation du poste

Site

Saclay

Localisation du poste

France, Ile-de-France, Essonne (91)

Ville

Palaiseau