Bibliographie & annexes
Présentation
En anglais
RÉSUMÉ
La capture volumétrique vidéo classique (vidéogrammétrie) est chère (5 k euros par minute minimum). Elle nécessite l’utilisation d’un studio 360° fond monochrome, d’une trentaine - a minima - de caméras “genlockées” (synchronisées à l’image près). Il existe cependant des caméras depth cam à coût abordable qui génèrent des nuages de points (point cloud).
Ce type de technologie (depth cam) peut-il générer des modèles 3D animés suffisamment qualitatifs pour la perception humaine ? Dans quelles conditions ? Quelles sont les améliorations possibles dans le workflow, de la captation à l’affichage d’un maillage (mesh) texturé animé ?
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleABSTRACT
The classic volumetric video capture (videogrammetry) is expensive (5k euros per minute minimum). It requires the use of a 360° studio with a monochrome background and a minimum of thirty "genlocked" cameras (synchronized to the image). However, there are depth cameras at an affordable cost that generate point clouds.
Can this type of technology (depth cam) generate animated 3D models of sufficient quality for human perception? Under what conditions? What are the possible improvements in the workflow from capture to display of an animated textured mesh?
Auteur(s)
-
François BOUILLE : Directeur R&D pour le projet Holocap3D - à French Touch Factory, 41, rue du Faubourg Saint Martin 75010 Paris - en partenariat avec les Mines Paris – PSL
INTRODUCTION
Le procédé de Capture volumétrique consiste à scanner en 3D des objets à l’aide d’une matrice composée de plusieurs caméras. Cette méthode permet de capter des objets, tout comme des environnements réels. Le résultat est une représentation tridimensionnelle qui peut être intégrée à du contenu numérique visuel.
La capture volumétrique vidéo ou vidéo volumétrique est une technique qui capture un espace tridimensionnel dans le temps. Ce type de volumographie acquiert des données en mouvement qui peuvent être visualisées sur des écrans classiques ainsi qu'à l'aide d'écrans stéréoscopiques et de visiocasques (casques immersifs).
L'expertise technique et scientifique de référence
MOTS-CLÉS
réalité virtuelle réalité augmentée hologramme vidéo capture volumétrique caméra RGBD holoportation
KEYWORDS
virtual reality | augmented reality | homogram | video | capture | volumetric | caméra | RGBD | holoportation
DOI (Digital Object Identifier)
Cet article fait partie de l’offre
Le traitement du signal et ses applications
(160 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
Captation et synchronisation temporelle
En anglais
1. Méthodes pour l'holoportation
Il existe trois grandes méthodes pour l’holoportation. La troisième qui repose sur l’utilisation de la capture volumétrique, offre des opportunités en termes de coût. C’est cette technique qui est plus particulièrement présentée dans cet article.
1.1 Vidéogrammétrie
Une centaine de caméras, synchronisées à l'image près (genlockées), filment un personnage dans un studio. Les flux traités génèrent un nuage de points par image. Des traitements successifs permettent de générer en temps réel un personnage de grande qualité animé en 3D. Le matériel pour la mise en place de ce procédé est évalué a minima à 350 000 euros pour une trentaine de caméras (source 4D views).
Nom de studios : Holooh, 8i, 4D views, Microsoft, Intel, the Relightables…
1.2 LightField
À la différence des caméras classiques qui captent l'intensité lumineuse, les caméras LightField ou plénoptiques captent la direction des rayons de lumière.
Un autre type de caméra LightField utilise une multitude de microcapteurs.
Cette technique permet en théorie d'obtenir des reconstructions 3D de décors ou de personnages.
Le nombre de microcapteurs photos utilisés doit être important pour une photo de qualité.
Pour de la vidéo le système reste le même. Le problème est alors le coût de la mise en place des microcapteurs vidéos et surtout de la gestion des données captées.
Google a racheté Lytro et ses technologies de LightField. Des explications sont fournies dans l’article Finies les photos floues des Techniques de l’Ingénieur .
HAUT DE PAGE1.3 Holoportation...
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Le traitement du signal et ses applications
(160 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Méthodes pour l'holoportation
BIBLIOGRAPHIE
-
(1) - CHOI (S.), ZHOU (Q.-Y.), KOLTUN (V.) - Robust reconstruction of indoor scenes. - CVPR (2015).
-
(2) - ZHOU (Q.-Y.), PARK (J.), KOLTUN (V.) - Fast global registration. - ECCV http://vladlen.info/papers/fast-global-registration.pdf (2016).
-
(3) - BESL (P.J.), MCKAY (N.D.) - A method for registration of 3D Shapes. - PAMI (1992).
-
(4) - CHEN (Y.), MEDIONI (G.G.) - Object modelling by registration of multiple range images. - Image and Vision Computing, 10(3) (1992).
-
(5) - RUSINKIEWICZ (S.), LEVOY (M.) - Efficient variants of the ICP algorithm. - In 3-D Digital Imaging and Modeling (2001).
-
(6) - PARK (J.), ZHOU (Q.-Y.), KOLTUN (V.) - Colored point cloud registration revisited. - ICCV (2017).
- ...
DANS NOS BASES DOCUMENTAIRES
Azure Kinect DK :
https://azure.microsoft.com/fr-fr/services/kinect-dk/
Spécifications matérielles des kinest Azure :
https://docs.microsoft.com/fr-fr/azure/kinect-dk/system-requirements
https://docs.microsoft.com/fr-fr/azure/kinect-dk/hardware-specification
Synchronisation avec un câble audio :
https://docs.microsoft.com/fr-fr/azure/kinect-dk/multi-camera-sync
Matrice de déformation de Brow Comrady :
https://docs.derivative.ca/Lens_Distort_TOP
ou
https://www.foamcoreprint.com/blog/what-are-calibration-targets
Génération d’un point cloud à partir d’une depth :
https://medium.com/yodayoda/from-depth-map-to-point-cloud-7473721d3f
Fast Point Feature Histogram :
https://pcl.readthedocs.io/projects/tutorials/en/latest/fpfh_estimation.html
Détection de squelette par les Kinect Azure :
https://docs.microsoft.com/fr-fr/azure/kinect-dk/body-sdk-setup
...
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Le traitement du signal et ses applications
(160 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
