Rejoignez-nous en Stage !

CEA Tech CorporatefromCEA TechonVimeo.

Contexte du stage :

La localisation 3D d’un objet dans une image consiste à estimer la position 3D et l’orientation 3D dudit objet par rapport à la caméra qui l’observe (eg. [ZebraPose]). Cette tâche est impliquée dans d’innombrables domaines d’applications (robotique autonome, Réalité Augmentée, contrôle de conformité, suivi de chantier...). Si cette problématique est étudiée depuis de nombreuses années, les solutions développées restent peu utilisées en raison de leurs contraintes de mise en oeuvre, parmi lesquelles la nécessité de disposer d’un modèle 3D précis de l’objet pour entrainer la méthode ainsi que leur restriction au cas d’objets rigides.

Objectifs du stage :
Ce stage aura pour objectif de mettre au point une méthode de localisation 3D d’objets déformables par Deep Learning qui soit à la fois performante et facile à mettre en oeuvre.
Plus précisément, ce stage explorera l’utilisation de méthodes de reconstruction 3D de type Neural Fields pour permettre, d’une part, l’entrainement de méthodes de localisation 3D d’objet lorsque le modèle 3D n’est pas initialement disponible, et, d’autre part, d’étendre ces méthodes de localisation 3D aux cas des objets déformables. En effet, ces méthodes de reconstructions 3D ont révolutionné le domaine de la reconstruction 3D au cours des dernières années en raison de leur simplicité de mise en oeuvre (simple caméra) [InstantNGP], y compris dans le cas d’objets déformables [Nerfies, shapeOfMotion].
Le stage aura donc pour objectifs de :
- mettre en place un processus de reconstruction 3D basée sur une représentation Neural Fields et l’exploiter pour l’entrainement d’une méthode de localisation 3D d’objet;
- étendre cette méthode de reconstruction, d’entrainement et de localisation au cas des objets déformables.
Pour y parvenir, l’étudiant bénéficiera des briques technologiques du laboratoire en termes de reconstruction 3D et de localisation 3D, ainsi que l’expertise des membres du laboratoire sur ces domaines.

Bibliographie :

[Zebrapose] Zebrapose: Coarse to fine surface encoding for 6dof object pose estimation, CVPR 2022.
[IntantNGP] Instant neural graphics primitives with a multiresolution hash encoding, SIGGRAPH 2022.
[Nerfies] Nerfies: Deformable neural radiance fields, ICCV 2021
[shapeOfMotion] Shape of Motion: 4D Reconstruction from a Single Video, ArXiv abs/2407.13764 (2024)