Stage - Ingénieur.e Recherche - Modèles génératifs de scènes 3D

La génération d’environnements virtuels 3D a pris beaucoup d’ampleur ces dernières années, et les avancées de l’IA dans ce domaine rendent désormais ces nouvelles applications accessibles à un large public.

Nous proposons de nous intéresser, dans le cadre de ce stage, à la compréhension et à la génération multimodale d’environnements 3D à partir d’entrées variées : texte, images, vidéos, etc. Les avancées dans le domaine des modèles génératifs (Diffusion, Flow Matching, etc.) sont rapides et une attention particulière sera portée aux modèles unifiés et aux approches de type any-to-any, capables de comprendre et de générer des données issues de modalités hétérogènes. Un axe important du stage portera ainsi sur l’amélioration du contrôle et du conditionnement de ces modèles génératifs, ainsi que sur leur capacité à exploiter et à produire des données multimodales. Pour y parvenir, les technologies de l’état de l’art en vision par ordinateur, les modèles génératifs ainsi que les modèles de fondation seront particulièrement étudiés.

Le stage se déroulera dans l’équipe AI for Consumer World Twins qui s’intéresse à des problématiques de recherche liées aux world models et environnements de dimension massive mixant le réel et le virtuel afin d'en extraire des connaissances et des composants à forte valeur ajoutée.

Vos missions

Vous établirez dans un premier temps une recherche bibliographique sur le domaine, puis, avec le guidage de votre encadrant, déterminerez la méthode la plus adaptée pour répondre au problème posé. Une implémentation de la méthode sera ensuite mise en œuvre. Enfin, une démonstration des résultats clôturera le stage. Le stage pourrait aboutir à la participation à la rédaction d’un article de recherche.

Références :

Maillard, Léopold, et al. "LACONIC: A 3D Layout Adapter for Controllable Image Creation." 2025 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE, 2025.

Maillard, Léopold, et al. "DeBaRA: Denoising-Based 3D Room Arrangement Generation." Advances in Neural Information Processing Systems 37 (NeurIPS 2024).