Comment l'INRIA revisite les interactions à gestes

[Interview] Laurent Grisoni - INRIA

Laurent Grisoni est responsable de l’équipe de recherche MINT (méthodes et outils pour l'interaction à gestes) du centre INRIA Lille Nord Europe, qui a succédé à l’équipe ALCOVE, dont il était aussi membre. Il revient pour IT Online sur les recherches faites au niveau des interactions à gestes, en nous présentant quelques unes des applications développées à l’INRIA. Entretien.

Laurent Grisoni est responsable de l’équipe de recherche MINT (méthodes et outils pour l’interaction à gestes) du centre INRIA Lille Nord Europe, qui a succédé à l’équipe ALCOVE, dont il était aussi membre. Il revient pour IT Online sur les recherches faites au niveau des interactions à gestes, en nous présentant quelques unes des applications développées à l’INRIA. Entretien.

Techniques de l’Ingénieur : Quelle est la genèse du projet MINT (méthodes et outils pour l’interaction à gestes) ?

Laurent Grisoni : Ce projet est né de l’envie, de la communauté de recherche, tout comme du grand public, d’avoir des outils informatiques de plus en plus souples et adaptés aux personnes. Il repose sur trois axes de réflexions : le premier autour des usages, le second autour de l’algorithmique numérique permettant d’extraire la sémantique du geste, le dernier sur les technologies disponibles pour l’acquisition de ce geste.

Comment définir les interactions à geste ?

Les interactions à gestes peuvent être définies autour de ces cas d’usage, encore à inventer, où l’on pourrait se passer du clavier et de la souris d’ordinateur pour réaliser certaines tâches avec un système informatique (que l’on soit via un Smartphone, ou un grand écran). Pour certaines actions élémentaires, comme pointer quelque chose sur un écran, le clavier et la souris ne sont pas les périphériques les plus intuitifs. Pour arriver à proposer des alternatives, Il faut tenir compte des trois volets de réflexion cités plus haut.

Quels sont les objectifs de recherche de MINT ?

Le but du travail de l’équipe MINT est de rendre les interactions homme/machine aussi transparentes que possible. Pour cela, il est nécessaire d’appréhender les besoins des niches métiers potentiellement concernées, afin de cerner au mieux les usages pour lesquels son pourra obtenir un feedback utilisateur réel, nous permettant ainsi d’avancer dans notre propre réflexion.

Pouvez-vous nous donner un exemple ?

Nous avons à l’heure actuelle deux grandes axes de réflexion. Le premier autour d’outil d’interaction avancés pour la vente, où il s’agit de proposer aux clients des systèmes permettant de manière conviviale d’accéder, via un système d’interaction relativement peu encombrant, d’accéder en magasin à un catalogue plus large. Le second domaine d’application concerne la rééducation médicale, où nous travaillons à proposer aux médecins (notamment ceux de la fondation Hopale, basée à Berck-sur-mer et spécialistes nationalement reconnus en rééducation) des outils basés réalité virtuelle pour la rééducation des accidents vasculaires cérébraux.

Comment travaillez-vous pour évaluer la pertinence d’une application par rapport à une autre ?

Pour schématiser, trois axes de réflexion nous guident pour décider quelles applications vont faire l’objet de recherches. D’abord, nous devons, en tenant compte de ce que l’on est capable de faire (tant au point de l’application, qu’au point de vue de l’utilisation du matériel), être à l’écoute et comprendre ce que les gens veulent, en termes d’applications. Aussi, il nous est nécessaire de mener une réflexion sur les modèles numériques actuellement accessibles. Enfin, il nous faut savoir quelles sont nos possibilités au niveau technologique. Encore une fois, l’idéal pour nous et d’avancer scientifiquement tout en arrivant à des applications ciblées, qui collent à la réalité des métiers concernés. Sur le terrain, notre travail est donc d’essayer de réaliser des systèmes informatiques qui, d’une certaine manière, se font oublier, c’est-à-dire masquent leur complexité réelle, afin de simplifier le travail de la personne.

Qu’est-ce que cela donne sur le terrain ?

Nous sommes dans une logique proactive, ce qui implique la fabrication de démonstrateurs. Dans un premier temps, nous avons toujours des évaluations statistiques, pour une première évaluation de nos propositions en labo. Ensuite, parce que nos applications sont finalisées, nous pouvons proposer une évaluation plus large, moins contrainte, avec des utilisateurs finaux. Entre autre avec une psychologue de l’équipe, ces tests sont observés, analysés, et ils fournissent des informations sur les comportements des « testeurs ». A partir de là, nous pouvons améliorer la qualité des simulations, la finalité restant la transparence de l’interaction. Ce travail de collaboration avec les utilisateurs finaux pour tester les applications est important pour notre travail.

Par exemple ?

A coté des domaines d’application liés à la vente et à la rééducation cité plus haut, nous travaillons actuellement sur une application grand public qui permet de dessiner sur un grand écran via un gant de données en 3D. Cette application est intéressante pour deux raisons. D’abord conceptuellement, car si, dans une première approche, on la perçoit comme une application relativement standard (du type de l’application paint), on en est en fait assez loin, cette application permettant également de faire « tourner » son dessin. Cette application est un très bon exemple de ce que es gens l’appréhension d’une application se fait le plus souvent en tenant compte de ce que l’on connait. Notre travail est donc d’oublier les repaires existants et permettre aux utilisateurs d’aller au delà de ce que les outils actuels peuvent proposer, en imaginant des solution radicalement différentes.

Vers quelles professions les dispositifs que vous développez pourraient-ils trouver des applications pertinentes ?

Les médecins par exemple. On sait que certaines applications sont très utiles en termes de travail de rééducation. Nous menons en ce moment un projet, Reactive, financé par l’ANR pour la réeducation des gens ayant subi un accident vasculaire cérébral (AVC). Ce projet est porté par la fondation Hopale, et cette collaboration très positive pour nos recherches. Au niveau médical, l’objectif est de disposer de nouveau outil de rééducation, ainsi que d’outil pour évaluer objectivement la progression des patients, via une relation exercice de rééducation/patient totalement numérisée. Une idée en cours d’étude concerne aussi l’imagerie médicale (en collaboration avec l’équipe SHAMAN, de l’INRIA Lille Nord-Europe) pour une autre branche de la médecine, mais il est encore très tôt pour parler vraiment de ce projet.

Les métiers de l’informatique également ?

Bien sûr. Nous avons récemment proposé un petit système hardware, qui peut se voir comme un pad d’ordinateur pouvant faire varier son coefficient de frottement sous le doigt de la personne. Des outils découlant de ce brevet, pour l’informatique grand public mais aussi pour des outils d’aide, par exemple destinés aux mal-voyants, sont tout à fait envisageables.

Travaillez-vous sur d’autres domaines de la réalité virtuelle ?

Nous avons une très forte compétence historique dans le domaine de la 3D. Nos activités liés à la vente et à la rééducation relève toutes deux de ce que l’on appelle à l’heure actuelle les serious game. Les technologies utilisées dans les jeux vidéos peuvent être la source d’une multitude d’applications. Un exemple tout bête, très basique, est celui des applications que l’on trouve sur les sites internet de grandes marques d’ameublement. Ces applications permettent de modéliser son futur salon en y installant virtuellement des meubles. Ces applications sont aujourd’hui très perfectibles. On revient d’ailleurs ici sur la problématique des interactions naturelles. Les grandes enseignes doivent absolument proposer des systèmes qui s’adaptent aux utilisateurs si elles veulent que les applications soit véritablement utilisées, pour in fine, acheter un produit, par exemple. Là encore, les tests avec les gens sont capitaux. Il est indispensable de réussir à rendre l’application réellement utile pour donner envie à la personne de l’utiliser.

Développez-vous des collaborations au niveau national sur certains sujets de recherche en réalité virtuelle ?

Oui . C’est notamment le cas pour les serious game. Nous travaillons avec une PME locale (Idée3com), qui propose des applications pour la vente. Nous travaillons, avec leurs contraintes logicielles, à la proposition de systèmes d’interaction novateurs. D’une manière générale, nous tâchons, aussi souvent que possible, d’adopter une logique open-source. En tant qu’équipe de recherche, et aussi via la volonté politique de l’INRIA, cette logique permet une bonne diffusion des connaissances, sur certains créneaux techniques. Nous avons par exemple proposé un petit module permettant d’utiliser un modeleur de rendu bien connu de la communauté (Blender) aux systèmes multitouch (module BlenderTUIO).

Développez-vous des partenariats avec les industriels ?

Nous n’avons à l’heure actuelle avec les industriels aucun partenariat officiel, mais nous échangeons beaucoup, de manière constructive. Ils sont très intéressés. Beaucoup de métiers liés à la revue de projet et au design notamment, pour qui des dispositifs plus proches de la réalité métier peuvent être d’une grande utilité.Propos recueillis par P.T Sommaire du Cahier Réalité virtuelle> A la Une

Ces sujets de recherche qui font le buzz dans les labos

> Evénement – Laval Virtual 2010

« Partir de l’utilisateur, et construire autour de lui » (Simon Richir, directeur scientifique Laval Virtual)

> Comprendre

Développement des technologies de réalité virtuelle (Base documentaire)
« Le CRVM se spécialise dans la recherche sur le comportement humain en situation immersive » (Daniel Mestre, CRVM)
Comment l’INRIA revisite les interactions à gestes (Laurent Grisoni, INRIA)
10 mots pour parler le langage de la réalité virtuelle

> Evaluer

Réalité virtuelle : des acteurs plus structurés et mieux positionnés
Le jeu vidéo, un moteur puissant pour la réalité virtuelle
La réalité virtuelle dans l’industrie : développement des produits et des processus (Base documentaire)
Prototypage virtuel d’une usine pétrochimique

> In situ

« Nous entrons dans une phase où nous utilisons la réalité virtuelle de manière opérationnelle » (François Guillaume, EADS)
Quand la formation se décline au virtuel : l’exemple de GVT
Les exposants primés à Laval Virtual 2010
Réalité virtuelle et conception : méthodes (Base documentaire)

> Produits