Bibliographie & annexes
Présentation
En anglais
RÉSUMÉ
La capture volumétrique vidéo classique (vidéogrammétrie) est chère (5 k euros par minute minimum). Elle nécessite l’utilisation d’un studio 360° fond monochrome, d’une trentaine - a minima - de caméras “genlockées” (synchronisées à l’image près). Il existe cependant des caméras depth cam à coût abordable qui génèrent des nuages de points (point cloud).
Ce type de technologie (depth cam) peut-il générer des modèles 3D animés suffisamment qualitatifs pour la perception humaine ? Dans quelles conditions ? Quelles sont les améliorations possibles dans le workflow, de la captation à l’affichage d’un maillage (mesh) texturé animé ?
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleABSTRACT
The classic volumetric video capture (videogrammetry) is expensive (5k euros per minute minimum). It requires the use of a 360° studio with a monochrome background and a minimum of thirty "genlocked" cameras (synchronized to the image). However, there are depth cameras at an affordable cost that generate point clouds.
Can this type of technology (depth cam) generate animated 3D models of sufficient quality for human perception? Under what conditions? What are the possible improvements in the workflow from capture to display of an animated textured mesh?
Auteur(s)
-
François BOUILLE : Directeur R&D pour le projet Holocap3D - à French Touch Factory, 41, rue du Faubourg Saint Martin 75010 Paris - en partenariat avec les Mines Paris – PSL
INTRODUCTION
Le procédé de Capture volumétrique consiste à scanner en 3D des objets à l’aide d’une matrice composée de plusieurs caméras. Cette méthode permet de capter des objets, tout comme des environnements réels. Le résultat est une représentation tridimensionnelle qui peut être intégrée à du contenu numérique visuel.
La capture volumétrique vidéo ou vidéo volumétrique est une technique qui capture un espace tridimensionnel dans le temps. Ce type de volumographie acquiert des données en mouvement qui peuvent être visualisées sur des écrans classiques ainsi qu'à l'aide d'écrans stéréoscopiques et de visiocasques (casques immersifs).
L'expertise technique et scientifique de référence
MOTS-CLÉS
réalité virtuelle réalité augmentée hologramme vidéo capture volumétrique caméra RGBD holoportation
KEYWORDS
virtual reality | augmented reality | homogram | video | capture | volumetric | caméra | RGBD | holoportation
DOI (Digital Object Identifier)
Cet article fait partie de l’offre
Le traitement du signal et ses applications
(160 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
Reconstruction de meshes et texturing
En anglais
3. Alignement spatial des caméras
Nous avons obtenu précédemment n point clouds en mouvement issus de n cameras qui capturent chacune deux flux, le RGB et le D.
L’étape d’alignement spatial ou « registration » consiste à retrouver la position et la rotation des caméras dans l’espace que l’on peut généralement stocker dans une matrice 4x4. Cet alignement permet de rassembler les point clouds de manière cohérente, première étape dans la reconstruction du personnage.
Il existe plusieurs méthodes pour y parvenir. De nos successions de point clouds, nous extrayons une image, ou frame, synchronisée pour chaque camera. Même s’il est possible d’interpoler plusieurs images pour améliorer la qualité, nous ne présenterons ici que l’alignement d’une seule frame.
3.1 Alignement manuel
Il est tout à fait possible, mais fastidieux, de procéder aux translations et rotations des point clouds pour les aligner dans l’espace.
Une autre possibilité est de recourir à l’alignement de points reconnaissables et similaires des point clouds. C’est une méthode semi-automatique efficace mais fastidieuse car il faut identifier des paires de points entre deux point clouds. On reproduit cette action avec autant de paires de point clouds.
HAUT DE PAGE3.2 Alignement par mire
L’objectif est ici de procéder à une reconnaissance de marqueurs pour aligner des caméras par paire. La mire (figure 3) doit être visible de toutes les caméras ce qui est parfois difficile, surtout à 360° autour de l’objet capté. On pourra alors faire circuler la mire entre chaque caméra et sa voisine pour les appairer deux à deux. C’est une étape un peu longue de préparation avant la captation. Elle est cependant un moyen sûr de parvenir à un résultat sans avoir recours à un alignement manuel.
HAUT DE PAGE3.3 Alignement automatique global
On distingue les alignements automatiques globaux et locaux.
L’alignement automatique global permet de restreindre les possibilités d’alignement en détectant...
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Le traitement du signal et ses applications
(160 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Alignement spatial des caméras
BIBLIOGRAPHIE
-
(1) - CHOI (S.), ZHOU (Q.-Y.), KOLTUN (V.) - Robust reconstruction of indoor scenes. - CVPR (2015).
-
(2) - ZHOU (Q.-Y.), PARK (J.), KOLTUN (V.) - Fast global registration. - ECCV http://vladlen.info/papers/fast-global-registration.pdf (2016).
-
(3) - BESL (P.J.), MCKAY (N.D.) - A method for registration of 3D Shapes. - PAMI (1992).
-
(4) - CHEN (Y.), MEDIONI (G.G.) - Object modelling by registration of multiple range images. - Image and Vision Computing, 10(3) (1992).
-
(5) - RUSINKIEWICZ (S.), LEVOY (M.) - Efficient variants of the ICP algorithm. - In 3-D Digital Imaging and Modeling (2001).
-
(6) - PARK (J.), ZHOU (Q.-Y.), KOLTUN (V.) - Colored point cloud registration revisited. - ICCV (2017).
- ...
DANS NOS BASES DOCUMENTAIRES
Azure Kinect DK :
https://azure.microsoft.com/fr-fr/services/kinect-dk/
Spécifications matérielles des kinest Azure :
https://docs.microsoft.com/fr-fr/azure/kinect-dk/system-requirements
https://docs.microsoft.com/fr-fr/azure/kinect-dk/hardware-specification
Synchronisation avec un câble audio :
https://docs.microsoft.com/fr-fr/azure/kinect-dk/multi-camera-sync
Matrice de déformation de Brow Comrady :
https://docs.derivative.ca/Lens_Distort_TOP
ou
https://www.foamcoreprint.com/blog/what-are-calibration-targets
Génération d’un point cloud à partir d’une depth :
https://medium.com/yodayoda/from-depth-map-to-point-cloud-7473721d3f
Fast Point Feature Histogram :
https://pcl.readthedocs.io/projects/tutorials/en/latest/fpfh_estimation.html
Détection de squelette par les Kinect Azure :
https://docs.microsoft.com/fr-fr/azure/kinect-dk/body-sdk-setup
...
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Le traitement du signal et ses applications
(160 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
