Bibliographie & annexes
Présentation
En anglais
RÉSUMÉ
La capture volumétrique vidéo classique (vidéogrammétrie) est chère (5 k euros par minute minimum). Elle nécessite l’utilisation d’un studio 360° fond monochrome, d’une trentaine - a minima - de caméras “genlockées” (synchronisées à l’image près). Il existe cependant des caméras depth cam à coût abordable qui génèrent des nuages de points (point cloud).
Ce type de technologie (depth cam) peut-il générer des modèles 3D animés suffisamment qualitatifs pour la perception humaine ? Dans quelles conditions ? Quelles sont les améliorations possibles dans le workflow, de la captation à l’affichage d’un maillage (mesh) texturé animé ?
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleABSTRACT
The classic volumetric video capture (videogrammetry) is expensive (5k euros per minute minimum). It requires the use of a 360° studio with a monochrome background and a minimum of thirty "genlocked" cameras (synchronized to the image). However, there are depth cameras at an affordable cost that generate point clouds.
Can this type of technology (depth cam) generate animated 3D models of sufficient quality for human perception? Under what conditions? What are the possible improvements in the workflow from capture to display of an animated textured mesh?
Auteur(s)
-
François BOUILLE : Directeur R&D pour le projet Holocap3D - à French Touch Factory, 41, rue du Faubourg Saint Martin 75010 Paris - en partenariat avec les Mines Paris – PSL
INTRODUCTION
Le procédé de Capture volumétrique consiste à scanner en 3D des objets à l’aide d’une matrice composée de plusieurs caméras. Cette méthode permet de capter des objets, tout comme des environnements réels. Le résultat est une représentation tridimensionnelle qui peut être intégrée à du contenu numérique visuel.
La capture volumétrique vidéo ou vidéo volumétrique est une technique qui capture un espace tridimensionnel dans le temps. Ce type de volumographie acquiert des données en mouvement qui peuvent être visualisées sur des écrans classiques ainsi qu'à l'aide d'écrans stéréoscopiques et de visiocasques (casques immersifs).
L'expertise technique et scientifique de référence
MOTS-CLÉS
réalité virtuelle réalité augmentée hologramme vidéo capture volumétrique caméra RGBD holoportation
KEYWORDS
virtual reality | augmented reality | homogram | video | capture | volumetric | caméra | RGBD | holoportation
DOI (Digital Object Identifier)
Cet article fait partie de l’offre
Le traitement du signal et ses applications
(160 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
Conclusion
En anglais
5. Temps réel, direct live, optimisation GPU et IA
Cette section vise à explorer une exploitation en temps réel des données capturées, soit directement depuis les données brutes RGB-D enregistrées, soit en direct live depuis les flux des caméras.
5.1 Compute shaders et shaders
Pour plus d’information sur ce sujet, on pourra aussi se reporter à [TE 5 990].
Chaque caméra génère a minima des centaines de milliers de données par frame soit 30 fois par seconde. L’application de filtres pour améliorer la qualité, supprimer les problèmes d’occlusion ou encore le cropping ne peuvent pas se faire en temps réel sur le CPU qui fonctionne de manière sérielle. Même dans des threads différents, c’est impossible. Le traitement par GPU, par contre, s’adapte particulièrement bien au traitement de données similaires en très grand nombre. L’implémentation des filtres ainsi que des techniques de reconstruction dans des compute shaders ou des shaders (qui ont une prise directe sur le GPU) s’impose pour exploiter la voie du temps réel. Nous avons testé l’implémentation de filtres sur le GPU et le gain de performance par rapport à un traitement CPU est impressionnant (tableau 1).
HAUT DE PAGE5.2 Direct live
Une exploitation prometteuse des contenus de vidéo volumétrique pour la télécommunication est la diffusion en direct live de flux de plusieurs caméras. Cette piste représente de nouveaux défis pour la capture volumétrique vidéo. Toute la problématique se résume en deux verrous technologiques :
1. synchronisation des images entre plusieurs caméras sur des ordinateurs distants et via le Web ;
2. compression des données pour multiplier les flux sans avoir de problèmes de lag, de bande passante ou de dégradation trop importante de la qualité.
Nous...
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Le traitement du signal et ses applications
(160 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Temps réel, direct live, optimisation GPU et IA
BIBLIOGRAPHIE
-
(1) - CHOI (S.), ZHOU (Q.-Y.), KOLTUN (V.) - Robust reconstruction of indoor scenes. - CVPR (2015).
-
(2) - ZHOU (Q.-Y.), PARK (J.), KOLTUN (V.) - Fast global registration. - ECCV http://vladlen.info/papers/fast-global-registration.pdf (2016).
-
(3) - BESL (P.J.), MCKAY (N.D.) - A method for registration of 3D Shapes. - PAMI (1992).
-
(4) - CHEN (Y.), MEDIONI (G.G.) - Object modelling by registration of multiple range images. - Image and Vision Computing, 10(3) (1992).
-
(5) - RUSINKIEWICZ (S.), LEVOY (M.) - Efficient variants of the ICP algorithm. - In 3-D Digital Imaging and Modeling (2001).
-
(6) - PARK (J.), ZHOU (Q.-Y.), KOLTUN (V.) - Colored point cloud registration revisited. - ICCV (2017).
- ...
DANS NOS BASES DOCUMENTAIRES
Azure Kinect DK :
https://azure.microsoft.com/fr-fr/services/kinect-dk/
Spécifications matérielles des kinest Azure :
https://docs.microsoft.com/fr-fr/azure/kinect-dk/system-requirements
https://docs.microsoft.com/fr-fr/azure/kinect-dk/hardware-specification
Synchronisation avec un câble audio :
https://docs.microsoft.com/fr-fr/azure/kinect-dk/multi-camera-sync
Matrice de déformation de Brow Comrady :
https://docs.derivative.ca/Lens_Distort_TOP
ou
https://www.foamcoreprint.com/blog/what-are-calibration-targets
Génération d’un point cloud à partir d’une depth :
https://medium.com/yodayoda/from-depth-map-to-point-cloud-7473721d3f
Fast Point Feature Histogram :
https://pcl.readthedocs.io/projects/tutorials/en/latest/fpfh_estimation.html
Détection de squelette par les Kinect Azure :
https://docs.microsoft.com/fr-fr/azure/kinect-dk/body-sdk-setup
...
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Le traitement du signal et ses applications
(160 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
