« Il faut bien avoir à l’esprit que les IA ne sont pas des logiciels comme les autres »

Ces risques, qui selon le CeSIA sont largement sous-estimés à l’heure actuelle, portent sur les modèles d’IA déjà à l’œuvre, et ceux qui vont apparaître dès les mois et les années à venir. Car l’intelligence artificielle est un domaine au sein duquel l’innovation est perpétuelle, et les disruptions quasi mensuelles. 

Le règlement européen sur l’intelligence artificielle, adopté cet été, doit veiller à ce que les systèmes d’IA mis sur le marché respectent les droits humains et les législations en vigueur. Et se faisant, le texte interdit certaines pratiques d’IA jugées à haut risque. 

Charbel-Raphaël Segerie est directeur exécutif du centre pour la sécurité de l’IA (CeSIA). Il a expliqué à Techniques de l’Ingénieur quels sont les différents types de risques aujourd’hui liés au développement des nouveaux modèles d’intelligence artificielle, dans un contexte de course effrénée pour développer des modèles d’IA de plus en plus puissants.

Techniques de l’Ingénieur : Quelle est la mission du Centre de sécurité de l’intelligence artificielle ?

Charbel-Raphaël Segerie : Notre mission première est de partager des outils et des connaissances en matière de sécurité de l’IA à usage général. Nous avons développé trois types d’activités qui nous permettent d’atteindre cet objectif : la recherche et le développement, l’enseignement et la sensibilisation.

En termes de recherche et développement, nous faisons de l’évaluation de l’IA. Nous évaluons la qualité de la supervision de l’IA. Pour résumer de manière un peu imagée, nous essayons de voir s’il est possible aujourd’hui, avec les techniques actuelles, d’avoir un contrôle automatique sur les IA. A ces fins, nous sommes en train d’établir un benchmark, qui permettra d’évaluer la qualité du contrôle et de la supervision sur les IA. 

En termes d’enseignement, nous avons donné le premier cours en France et peut-être même en Union Européenne sur la sécurité des IA à usage général. Ce cours se déroule à l’école normale supérieure Ulm et Paris-Saclay.

Nous participons également à la rédaction du code des bonnes pratiques de l’IA au niveau de l’Union Européenne. 

Suite à l’adoption du règlement européen sur l’IA, quelles sont les étapes pour sa mise en application effective ?

Le Règlement Européen sur l’IA (RIA) a effectivement été adopté. Maintenant l’enjeu consiste à opérationnaliser ce RIA pour les IA à usage général. Ainsi, pour les modèles d’IA qui ont été entraînés avec une grande quantité de calculs, le RIA préconise la mise en place d’une importante batterie de tests, mais ces derniers ne sont pour le moment pas définis. Notre ambition est donc de participer à la rédaction de ces codes de bonnes pratiques qui permettront d’évaluer la sécurisation des IA. 

Quels sont les risques potentiels liés à la sophistication toujours plus grande des modèles d’IA ?

Nous pensons qu’il y a de nombreux risques liés à l’IA, existants et émergents. Nous avons mis en place une taxonomie en trois niveaux : les risques liés aux usages malveillants, aux problèmes d’alignement, et les risques systémiques. 

L’IA va devenir de plus en plus capable. En particulier, les IA générales peuvent être utilisées pour des cyberattaques. Par exemple Google a annoncé il y a quelques jours qu’il ont des systèmes capables de découvrir des zero-day, des nouveaux types de vulnérabilité, qui peuvent être utilisés pour mener des cyberattaques.

Certaines IA peuvent être utilisées pour le bioterrorisme. Je pense que les IA pourraient permettre dans le futur de créer des pandémies artificielles. Il est aujourd’hui très facile d’envoyer des séquences de protéines à des laboratoires qui les synthétisent sans être trop regardants. Des chercheurs du MIT ont ainsi, cette année, pris le virus de la grippe espagnole et ont demandé à 38 laboratoires d’imprimer la séquence du virus. 36 des 38 laboratoires ont imprimé la séquence, sans chercher à en savoir plus. Il est donc très facile aujourd’hui de contourner les mesures de sécurité en place.

D’autre part, l’IA peut permettre de trouver des séquences extrêmement létales. Des IA ont déjà été utilisées pour augmenter le niveau de dangerosité de certaines molécules. Il s’agit là aussi d’un risque parmi d’autres.

Vous évoquez également le risque lié aux armes…

Les armes autonomes constituent en effet un risque à bien mesurer. Pour quelques milliers d’euros aujourd’hui, vous pouvez acheter des robots équipés d’armes, qui représentent donc un danger potentiel en cas d’usages malveillants, en particulier si on leur permet de fonctionner de manière autonome grâce à une IA. Les drones sont aussi une technologie qui permet, à l’aide de l’IA, de générer des guerres de manière automatisée.

Les deep fake sont aussi un risque déjà à l’œuvre aujourd’hui.

Tout à fait. En Corée du Sud par exemple, des IA sont utilisées pour générer des deep fake à caractère sexuel. C’est un phénomène très difficile à endiguer, qui génère des problèmes psychologiques terribles à ceux qui en sont victimes. 

On peut aussi faire face à des problèmes de vie privée et de confidentialité. Par exemple, peu de gens se rendent compte qu’en copiant collant leurs mails dans ChatGPT pour les améliorer, OpenAI est en capacité de récupérer l’entièreté de ces données. Il est quand même aberrant de se dire que via ces procédés, OpenAI récupère chaque jour une quantité non négligeable de données extrêmement privées voire sensibles.

Qu’est ce que l’alignement des IA et quel est le risque lié à un problème d’alignement ?

L’alignement est la capacité des IA à réaliser ce qu’on leur demande. Le risque dans le futur est de voir des IA présentant des problèmes d’alignement. Aujourd’hui les IA sont des outils. Dans le futur, une partie des IA seront des agents autonomes. C’est-à-dire qu’on fixera un objectif à ces IA, et cette dernière décompose l’objectif en une To do list, qui sera exécutée item par item, jusqu’à l’accomplissement de l’objectif. L’émergence actuelle de ces agents autonomes présente la particularité que ces derniers sont beaucoup plus puissants que les outils d’IA classiques, notamment car ils peuvent accéder de manière autonome à internet ou aux ordinateurs sur lesquels ils sont installés. Cela fait qu’on se rapproche aujourd’hui d’IA qui sont en capacité de réaliser tout ce qu’un humain peut réaliser avec un ordinateur ou avec internet. 

Au moment de la présentation de ChatGPT, Microsoft a voulu faire de même et a déployé une IA, Bing Chat, qui s’est notamment illustrée en insultant et en menaçant ses utilisateurs. C’est un exemple illustrant parfaitement ce qu’est un problème d’alignement d’une IA. 

Un autre exemple, encore avec Microsoft, l’IA Tay, un chatbot lancé sur twitter, a très rapidement trouvé un moyen pour maximiser l’engagement de ses followers, en adoptant un comportement misogyne, raciste, nazi… Illustrant une nouvelle fois ce que peut être un problème d’alignement.

Ainsi, on donne des objectifs à l’IA, et les IA mettent en place des stratégies pour maximiser ces objectifs. Se faisant, elles trouvent parfois des stratégies qui sont non conformes aux valeurs humaines pour parvenir à leurs fins.

Il faut bien avoir à l’esprit que les IA ne sont pas des logiciels comme les autres. Ce sont des amas d’algorithmes illisibles, des blackbox (boîtes noires), qui combinent des milliards de paramètres n’ayant pas de sens tel quel, mais qui pondérés et combinés d’une certaine façon vont permettre de maximiser un objectif. Sans que l’on puisse vraiment comprendre comment. C’est aussi cela qui explique le comportement parfois surprenant des IA. 

Comment quantifier le risque global lié aux modèles d’IA existants et émergents ?

Nous assistons aujourd’hui à une course acharnée, menée par les entreprises privées et les Etats, qui essaient de créer les IA les plus puissantes possible. Avec une augmentation des risques que nous venons d’évoquer. Une grande partie des plus éminents chercheurs en IA vont même jusqu’à affirmer que cette montée en puissance de l’IA représente un risque existentiel pour l’humanité. 

Nous pensons qu’avec toutes les incertitudes qui règnent autour des évolutions à venir en termes d’IA, il est important de définir des lignes rouges à ne pas franchir.

Prenons quelques exemples. Des IA capables de mener des cyberattaques de manière complètement autonome constitueraient une menace qu’il faut absolument proscrire. Des IA qui permettraient d’augmenter significativement les risques de pandémies constituent une autre ligne rouge.

Une IA capable de s’auto répliquer constituerait également un danger critique, puisque cela lui permettrait de se répliquer elle-même un nombre indéfini de fois, au risque de devenir totalement incontrôlable. 

Quelles sont les solutions préconisées pour éviter tous les risques potentiels que vous venez d’évoquer ?

Les mécanismes de mise à l’échelle responsables adoptés par de nombreuses grandes entreprises investissant l’IA vont dans le bon sens. 

Ces mécanismes évaluent le niveau des modèles d’IA qu’ils ont créés sur quatre grands types de capacités : les cyberattaques, l’autonomie, la création de biorisque de manière automatique, et les capacités de manipulations et persuasions. Cela permet d’établir pour ces quatre capacités des niveaux de risques, et in fine de ne pas déployer les modèles d’IA présentant un risque trop élevé sur l’une d’entre elles, avant d’avoir trouvé les méthodes pour contrôler cet aléa. 

Le problème est qu’actuellement, les mécanismes de mise à l’échelle responsable de l’IA sont des mécanismes qui sont volontaires et pas imposés aux entreprises. Tout l’enjeu est donc de faire en sorte que ces mécanismes deviennent réglementaires. C’est ce qui est en train d’être réalisé au niveau européen, avec la difficulté de définir correctement les lignes rouges, et de mettre en place les procédures en séparant les éléments absolument indispensables à prendre en compte dans ces procédures et ceux qui sont moins importants… Ce travail comprend d’immenses difficultés techniques, l’évaluation des risques étant un travail extrêmement complexe.

Propose recueillis par Pierre Thouverez