Localisation 3D d'objets déformables dans une image par Deep Learning H/F

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité
  

Référence

2024-33335  

Description de l'unité

En nous rejoignant, vous contribuerez au développement de briques de localisation 3D utilisées dans l'industrie française et européenne de demain.

Description du poste

Domaine

Mathématiques, information  scientifique, logiciel

Contrat

Stage

Intitulé de l'offre

Localisation 3D d'objets déformables dans une image par Deep Learning H/F

Sujet de stage

Ce stage aura pour objectif de mettre au point une méthode de localisation 3D d'objets déformables par Deep Learning qui soit à la fois performante et facile à mettre en oeuvre.

Durée du contrat (en mois)

[3 à 6 mois]

Description de l'offre

Rejoignez-nous en Stage ! 

CEA Tech Corporate from CEA Tech on Vimeo.

Contexte du stage :

La localisation 3D d’un objet dans une image consiste à estimer la position 3D et l’orientation 3D dudit objet par rapport à la caméra qui l’observe (eg. [ZebraPose]). Cette tâche est impliquée dans d’innombrables domaines d’applications (robotique autonome, Réalité Augmentée, contrôle de conformité, suivi de chantier...). Si cette problématique est étudiée depuis de nombreuses années, les solutions développées restent peu utilisées en raison de leurs contraintes de mise en oeuvre, parmi lesquelles la nécessité de disposer d’un modèle 3D précis de l’objet pour entrainer la méthode ainsi que leur restriction au cas d’objets rigides.

Objectifs du stage :
Ce stage aura pour objectif de mettre au point une méthode de localisation 3D d’objets déformables par Deep Learning qui soit à la fois performante et facile à mettre en oeuvre.
Plus précisément, ce stage explorera l’utilisation de méthodes de reconstruction 3D de type Neural Fields pour permettre, d’une part, l’entrainement de méthodes de localisation 3D d’objet lorsque le modèle 3D n’est pas initialement disponible, et, d’autre part, d’étendre ces méthodes de localisation 3D aux cas des objets déformables. En effet, ces méthodes de reconstructions 3D ont révolutionné le domaine de la reconstruction 3D au cours des dernières années en raison de leur simplicité de mise en oeuvre (simple caméra) [InstantNGP], y compris dans le cas d’objets déformables [Nerfies, shapeOfMotion].
Le stage aura donc pour objectifs de :
- mettre en place un processus de reconstruction 3D basée sur une représentation Neural Fields et l’exploiter pour l’entrainement d’une méthode de localisation 3D d’objet;
- étendre cette méthode de reconstruction, d’entrainement et de localisation au cas des objets déformables.
Pour y parvenir, l’étudiant bénéficiera des briques technologiques du laboratoire en termes de reconstruction 3D et de localisation 3D, ainsi que l’expertise des membres du laboratoire sur ces domaines.

Bibliographie :

[Zebrapose] Zebrapose: Coarse to fine surface encoding for 6dof object pose estimation, CVPR 2022.
[IntantNGP] Instant neural graphics primitives with a multiresolution hash encoding, SIGGRAPH 2022.
[Nerfies] Nerfies: Deformable neural radiance fields, ICCV 2021
[shapeOfMotion] Shape of Motion: 4D Reconstruction from a Single Video, ArXiv abs/2407.13764 (2024)

Profil du candidat

Qu’attendons-nous de vous ?
Le candidat devra disposer d’une bonne maîtrise de python, de connaissances en Vision par Ordinateur, et d’une forte connaissance en réseau de neurones. Une expérience sur Pytorch sera appréciée.

Compétences développées au cours du stage :
Ce stage permettra à l’étudiant de développer ses compétences en Deep Learning et de découvrir/approfondir ses connaissances sur la localisation 3D d’objet et la reconstruction 3D. L’étudiant aura l’opportunité de travailler avec une équipe de chercheurs seniors mais aussi de doctorants.

 

Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles !

 

Vous avez encore un doute ? Nous vous proposons :

• L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
• Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,
• Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel,
• Des moyens expérimentaux exceptionnels et un encadrement de qualité,
• De réelles opportunités de carrière à l’issue de votre stage
• Un poste au cœur de la métropole grenobloise, facilement accessible via la mobilité douce favorisée par le CEA,
• Une participation aux transports en commun à hauteur de 85%,
• Un équilibre vie privée – vie professionnelle reconnu,
• Un restaurant d'entreprise,
• Une politique diversité et inclusion,

Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l’inclusion des travailleurs handicapés.

Localisation du poste

Site

Saclay

Localisation du poste

France, Ile-de-France, Essonne (91)

Ville

Palaiseau, Nano-Innov

Critères candidat

Langues

• Anglais (Intermédiaire)
• Français (Bilingue)

Diplôme préparé

Bac+5 - Diplôme École d'ingénieurs

Formation recommandée

Grande école d'ingénieur, master 2 recherche

Possibilité de poursuite en thèse

Oui

Demandeur

Disponibilité du poste

03/03/2025