Deep Learning methods to improve 3D Gaussian Splatting training H/F

Saclay

Internship Entry-level / Junior

CEA

Le CEA est un acteur majeur de la recherche, au service de l'État, de l'économie et des citoyens. Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies...

View all jobs at CEA

Apply now Apply later

Posted 13 hours ago

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité

Référence

2024-33604

Description de l'unité

Au cœur du Plateau de Saclay, l'institut CEA LIST focalise ses recherches sur les systèmes numériques intelligents. Porteurs d'enjeux économiques et sociétaux majeurs, ses programmes de R&D sont centrés sur les systèmes interactifs (intelligence ambiante), les systèmes embarqués (architectures, ingénierie logicielle et systèmes), les capteurs et le traitement du signal (contrôle industriel, santé, sécurité, métrologie).

Au sein du CEA LIST, le Laboratoire de Simulation Interactive (LSI) développe une plateforme de simulation multi-physique interactive mettant en jeu un ou plusieurs utilisateurs en exploitant les technologies de Réalité Virtuelle (RV) et de Réalité Mixte (RM). Cette plateforme, dénommée XDE Physics, permet de simuler la manipulation et les interactions de l'ensemble des systèmes, pièces rigides, articulées ou déformables (câbles) directement sur les maquettes numériques. Elle permet également de valider des scénarios incluant l'opérateur pour étudier l'ergonomie du poste de travail par l'introduction de son avatar dans la simulation dynamique. Centrées sur les noyaux de simulation interactive, les activités de l'équipe vont jusqu'à la mise au point d'applicatifs, répondant aux contextes d'usage de ses partenaires industriels (manufacturing pour l'automobile et l'aéronautique, énergie, santé).

Description du poste

Domaine

Sciences pour l'ingénieur

Contrat

Stage

Intitulé de l'offre

Deep Learning methods to improve 3D Gaussian Splatting training H/F

Sujet de stage

Le sujet du Novel View Synthesis a connu ces dernières années des avancées remarquables grâce à l'apparition des Neural Radiance Field [1] puis des 3D Gaussian Splatting [2]. Notre laboratoire a ainsi développé un outil de visualisation et d'interaction en Réalité Virtuelle sur la plateforme Unity3D basé sur cette dernière approche qui a rencontré un grand succès (https://www.youtube.com/watch?v=aZizVJ0TG4U).

[1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In European Conference on Computer Vision (ECCV), 2020.
[2] Kerbl, B., Kopanas, G., Leimkuhler, T., Drettakis, G. (2023). 3d gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics (ToG), 42(4), 1-14.

Durée du contrat (en mois)

Description de l'offre

Il existe toujours des problèmes de reconstruction dans certaines parties des images, notamment dues aux réflexions (surfaces brillantes, miroirs) et aux zones uniformes (murs lisses, sols unis). Ces environnements difficiles peuvent entraîner des artefacts ou des zones floues, dégradant la qualité visuelle du rendu final. Des techniques comme la segmentation [3], l’inpainting multi-vues [4][5] et les modèles de diffusion multi-vues [6][7] montrent un fort potentiel pour isoler et traiter ces problèmes. Ils pourraient nous permettre d’améliorer ou recréer ces zones mal reconstruites.

Le sujet de ce stage consistera donc à explorer de telles techniques, évaluer leur efficacité et développer un prototype capable de détecter les zones à améliorer et appliquer les modèles adéquats de manière optimale.

[3] J. Cen, J. Fang, C. Yang, L. Xie, X. Zhang, W. Shen, and Q. Tian. Segment any 3d gaussians. 2023

[4] Liu, Z., Ouyang, H., Wang, Q., Cheng, K. L., Xiao, J., Zhu, K., Xue, N., Liu, Y., Shen, Y., and Cao, Y. Infusion: Inpainting 3d gaussians via learning depth completion from diffusion prior. 2024

[5] Mirzaei, A., De Lutio, R., Kim, S. W., Acuna, D., Kelly, J., Fidler, S., Gilitschenski, I., and Gojcic, Z. Reffusion: Reference adapted diffusion models for 3d scene inpainting. 2024

[6] Wang, P., and Shi, Y. Imagedream: Image-prompt multi-view diffusion for 3d generation. 2023

[7] Liu, R., Wu, R., Van Hoorick, B., Tokmakov, P., Zakharov, S., and Vondrick, C. Zero-1-to-3: Zero-shot One Image to 3D Object. 2023

Moyens / Méthodes / Logiciels

Rendering, Gaussian Splatting, Diffusion Model, Inpainting, Segmentation.

Profil du candidat

Bonne qualité rédactionnelle et de communication en français et anglais, rigueur dans l’analyse et la démarche.

Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.