Stage - Ingénieur.e Recherche – Deep learning et 3D

Sujet :  Déduction des propriétés physiques d'un objet à partir de son contenu visuel

Le stage se déroulera dans l’équipe de Recherche AI for Consumer World Twins dont la mission est de développer des algorithmes d'IA pour faciliter la compréhension et la génération d'environnements 3D rendant ces tâches plus accessibles à un public non-expert.

La majorité des recherches dans le domaine de la génération d'images et de modèles 3D d'objets à l'aide de Deep Learning se sont concentrées sur les propriétés visuelles, telles que la couleur et la forme, négligeant les propriétés physiques contrôlant le comportement des objets dans le monde réel. Pour simuler avec précision une dynamique alignée sur la physique, il est essentiel de prédire les propriétés des matériaux et de les intégrer dans le processus de prédiction des mouvements.

Vos missions

Nous proposons donc de centrer ce stage sur l'apprentissage des propriétés physiques des objets à partir de données visuelles (e.g. vidéos). Deux objectifs sont au cœur du projet : la création et l'entraînement d'un modèle capable d’inférer ces propriétés physiques, et les applications en aval qui démontrent la compréhension des cas d'utilisation pratiques. Des technologies telles que les modèles de diffusion et la gaussian splatting seront au cœur du projet.

Vous établirez dans un premier temps une recherche bibliographique sur le domaine puis, avec le guidage de votre encadrant, déterminer la méthode la plus adaptée pour répondre au problème posé. Une implémentation de la méthode sera ensuite mise en œuvre. Enfin, une démonstration des résultats clôturera le stage.