LEIA : un simulateur français pour mesurer les performances de machines intelligentes

La question est fondamentale : « une machine est-elle intelligente ? ». Beaucoup de discours marketing prétendent que leurs robots ou leurs caméras sont doués de cette faculté. Certains fabricants se contentent de l’affirmer sans apporter des preuves irréfutables.

D’autres pourront s’appuyer sur les résultats obtenus lors de simulations réalisées au sein des différentes plateformes LEIA (Laboratoire d’évaluation de l’intelligence artificielle) du LNE (Laboratoire national de métrologie et d’essais), adossés à une méthodologie de mesure, des procédures et des métriques parfaitement rodées et maîtrisées qui constituent le savoir-faire historique et unique de cette institution.

D’ici à 2022/2023, cet organisme disposera de trois plateformes, chacune correspondant à une typologie d’essais. Depuis 2008, le LEIA 1 ne fait que des essais complètement simulés, en particulier de systèmes automatiques de traduction ou de traitement la langue, de solutions de reconnaissance des images et de systèmes complets comme les robots agricoles.

La nature artificielle

Pour développer le LEIA2, le LNE a obtenu 390 000 euros dans le cadre du Plan de relance.

Ce financement s’inscrit dans le cadre du programme « soutien à l’investissement industriel dans les territoires », établi en lien avec la région Île-de-France. Prévue pour le premier semestre 2022, la plateforme LEIA (Laboratoire d’évaluation de l’intelligence artificielle) représentera un investissement total de 785 000 euros.

Logée dans une salle de 6 m de diamètre et de 3 m de hauteur, la plateforme LEIA2 sera constituée d’un système de vidéoprotection à 360°, permettant de reconstituer une « nature artificielle  » et de plonger les systèmes à caractériser (robots d’aide à la personne, caméras intelligentes, robots d’intervention civils et militaires, etc.) dans une réalité dynamique simulée.

Pour Guillaume Avrin, responsable du département Évaluation de l’intelligence artificielle au Laboratoire national de métrologie et d’essais, cette « nature artificielle correspond à l’environnement de test simulé, mais qui sera le plus représentatif possible de la réalité. Nous allons pouvoir générer un certain nombre de scenarii de tests avec différentes conditions environnementales (différentes géométries d’obstacles, de luminosité…) pour confronter le système robotisé ».

Varier les scenarii

Étant donné le comportement complexe des solutions IA, il n’est pas possible de se contenter de faire quelques tests. « Si on veut mesurer les capacités d’un robot destiné à la lutte contre les incendies, on ne peut pas juste faire un essai de jour et un autre de nuit et en déduire qu’il est performant à l’aube et au crépuscule. Il est important de varier la luminosité et les obstacles notamment. Il s’agit de donner un très grand nombre de scenarii. Si on faisait tout en conditions réelles, cela coûterait très cher et prendrait beaucoup de temps. La simulation est plus pratique », explique Guillaume Avrin.

Une trentaine de partenaires dont Thales, Schneider, Dassault, des cabinets de conseils et des PME (pour des tests de caméras intelligentes et de robots en EHPAD) et des clusters français soutiennent ce projet.

Plus surprenant, Google et Huawei figurent également parmi les soutiens. « Ils ont les moyens de créer leur propre simulateur, mais ces géants ne souhaitent pas être juges et parties. Ils ont besoin de s’appuyer sur des tiers de confiance comme le LNE pour avoir un avis objectif sur l’évaluation », précise Guillaume Avrin.

À terme, la version 2.2 du LEIA2 sera un mixte entre essais réels (avec un robot qui sera physiquement présent au milieu de notre ensemble de vidéoprotections) et simulations avec des vidéoprotections à 360 degrés.

Le programme du LEIA 3, qui correspondra à des essais 100 % physiques, devrait démarrer en 2022.