Campagnes d’évaluation : benchmarking, challenges et compétitions
Évaluation de l’intelligence artificielle

L’intelligence artificielle (IA) connaît depuis 2017 d’importants développements dans de nombreux secteurs professionnels (aide au diagnostic, identification biométrique, chatbot, détection de vulnérabilités et menaces de cybersécurité, robots industriels collaboratifs, robots d’inspection et de maintenance, système de mobilité autonome, etc.) et domestiques (robots d’assistance à la personne, dispositifs médicaux, assistants personnels, etc.). Elle est ainsi au rang des toutes premières priorités européennes et internationales de développement technologique et industriel et la rupture sanitaire de 2020 concourt à cette transformation vers une société plus « virtualisée », moins exposée aux vulnérabilités biologiques.

De manière à ce que le marché ne soit pas uniquement porté par l’offre, et que les conditions d’un rapprochement de cette dernière avec la demande soient réunies, il convient d’avoir à disposition des méthodes scientifiques et techniques d’évaluation de l’IA . Elle promet d’apporter des résultats quantitatifs et fiables concernant les niveaux de performance, de robustesse, d’explicabilité atteints par les différents systèmes d’IA. Les utilisateurs finaux disposeront ainsi des garanties conditionnant l’acceptabilité de ces technologies. Ils pourront choisir parmi différentes solutions existantes grâce à des références communes objectives et non ambiguës. Les développeurs bénéficieront quant à eux de repères pour orienter leurs efforts de R&D et de contrôle qualité, ainsi que d’outils pour démontrer leur avance et se démarquer de la concurrence. L’évaluation instaurera donc la confiance nécessaire à la transition d’une IA en développement vers une IA marchande.

Un travail de normalisation est en cours pour adapter les référentiels existants concernant le développement logiciel (IEC 62304 pour les dispositifs médicaux, ISO 26262 pour les véhicules routiers, etc.) aux spécificités de l’IA (notamment au Cen-Cenelec JTC21 et à l’ISO/IEC JTC1/SC42).

Ce travail portera notamment sur les outils et méthodes d’évaluation, dont deux approches génériques peuvent être distinguées (cf. ISO/IEC 17011) : l’audit et le test. Les audits consistent à analyser les preuves de conformité vérifiables, qualitatives ou quantitatives, telles que les enregistrements, les déclarations de faits, etc. La mise en œuvre des audits pour l’IA est similaire à celle des autres produits et technologies. Par exemple, le LNE a proposé un référentiel de certification des processus de mise au point de fonctionnalités d’IA reposant sur des audits . Bien que n’étant pas strictement liées aux audits de conformité, d’autres évaluations de l’IA reposant sur des jugements d’experts sont également présentées dans la littérature (par exemple le test de Turing). Les évaluations reposant sur des jugements humains sont généralement moins onéreuses à mettre en œuvre que le test lors de leur première instance, mais présentent des difficultés de passage à l’échelle lorsque le nombre de systèmes à évaluer est important, puisqu’elles ne sont pas automatisées. Elles sont également subjectives .

Les tests constituent une alternative aux évaluations reposant sur des jugements humains ou sur des preuves formelles (encore inaccessibles pour de nombreuses applications d’IA). Ils présentent quelques caractéristiques propres à l’IA détaillées dans le présent article.