Jérôme Royan : « notre plateforme de réalité augmentée permet de bénéficier d’une cartographie à grande échelle »

En 2001, Jérôme Royan a obtenu un diplôme d’Ingénieur en Sciences de l’Informatique à l’Institut National des Sciences Appliquées (INSA) ainsi qu’un Master de recherche à l’Université de Rennes 1. Quatre ans plus tard, il obtient sa thèse en Sciences de l’Informatique, toujours à l’Université de Rennes 1. Parallèlement et jusqu’en 2013, il est ingénieur R&D chez Orange Labs à Rennes.

Chez b<>com depuis 2013, il a dirigé le laboratoire Interactions Immersives. Il est aujourd’hui architecte principal, en charge des sujets réalité augmentée, réalité virtuelle et machine learning appliqué à la vision par ordinateur. Ces principaux travaux de recherche incluent la vision par ordinateur, la réalité augmentée, les technologies cloud et l’interopérabilité.

Techniques de l’ingénieur : Il existe différentes solutions de réalité augmentée ; quels sont les points disruptifs de votre plateforme ?

Jérôme Royan : La réalité augmentée (RA) permet d’afficher de l’information contextuelle qui est perçue par l’utilisateur comme parfaitement localisée dans l’environnement réel à travers, entre autres, un affichage visuel. Pour se localiser dans l’espace en temps réel, ces systèmes s’inspirent de l’être humain en comparant ses observations visuelles avec une cartographie mentale de l’environnement réel. Les dispositifs de RA intègrent donc des caméras pour établir une cartographie en 3D tout en se localisant.

Les lunettes de RA présentent le double avantage d’être portables et mains libres. Mais elles présentent des limites. L’ensemble des calculs étant embarqués dans le dispositif, les capacités de calcul sont assez limitées. Les cartographies embarquées dans les Microsoft HoloLens, un casque de réalité augmentée (bien que Microsoft parle de réalité mixte pour des raisons commerciales, ce sont bien techniquement des lunettes de réalité augmentée), sont donc réduites, à l’échelle d’un bureau ou d’une machine, ce qui oblige à créer de nombreuses sous-cartographies sans continuité réelle.

À l’avenir, le déport de calculs dans le cloud ou sur des serveurs à proximité permettra d’alléger les dispositifs. Ils intégreront des capteurs (inertiels, caméras), un encodeur et une connectivité sans fil afin de transmettre les données capturées dans le cloud. En retour, les images des informations contextuelles 3D calculées dans le cloud n’auront plus qu’à être décodées et affichées. En un mot, ces lunettes n’ont qu’à décoder des images reçues et les afficher sur des petits écrans transparents. Autre atout : une amélioration de la durabilité de ce dispositif, car toutes les évolutions technologiques seront mises à jour dans le cloud. Différentes paires de lunettes sont en cours de développement, mais leur niveau de maturité est moindre comparé à celui des casques RA.

Comment votre solution permet-elle de bénéficier d’une cartographie globale ?

/AR Cloud/ permet la création et la mise à jour d’une cartographie 3D de l’environnement réel à partir de l’ensemble des dispositifs de RA qui y sont connectés (Hololens, tablette IOS ou Android), tout en localisant précisément ces mêmes dispositifs dans l’environnement réel.

Lorsqu’un dispositif a créé une cartographie locale, il va la transmettre à un autre service qui va la fusionner à une cartographie à plus grande échelle, un bâtiment ou une usine. Cette méthode SLAM (Simultaneous Localization and Mapping ou Cartographie et Localisation Simultanées) permet de maintenir à jour la cartographie globale, ce qui peut être pratique et même indispensable pour suivre l’évolution de la construction d’une usine. En s’appuyant sur un jumeau numérique et cette cartographie globale, un chef de chantier peut rapidement vérifier la conformité ou non d’un bâtiment (le passage d’une canalisation qui n’est pas bien fait, une fenêtre mal positionnée…). En affichant la maquette numérique sur le bâtiment réel, il pourra constater les problèmes et les faire corriger rapidement.

Quels sont les défis à relever pour optimiser des expériences de RA dans des environnements complexes ?

Qu’il s’agisse d’un être humain ou d’un système de RA, il est plus difficile de se relocaliser dans des environnements faiblement éclairés ou qui, à l’opposé, présentent de nombreuses surfaces réfléchissantes ou de multiples motifs répétitifs. C’est pour relever ce challenge d’environnements changeants que nous avons développé notre solution de cartographie en continu. Nous intégrons également dans nos composants du deep learning afin de mettre en correspondance des données capturées à un instant donné avec une cartographie mise à jour capturée deux ou trois jours auparavant.

Quels sont les cas d’usage de votre plateforme ?

Les domaines d’application sont très vastes. Cela va de la maintenance à l’assemblage en passant par la logistique dans l’industrie. Autre usage possible : des interventions dans des zones à risques comme les réacteurs nucléaires, où un guidage en réalité augmentée permet de réduire les temps d’intervention. La formation pourra utiliser notre plateforme /AR Cloud/ en complément de formations en réalité virtuelle.

Quand sera commercialisé votre dispositif ?

Notre plate-forme est issue de plusieurs projets européens. Nous visons un « minimum viable product » (MVP) pour mi-2024. En attendant cette première version, nous avons des collaborations pour continuer des expérimentations et améliorer la robustesse de la solution.