Aurélie Jean : « Imposer la transparence des algorithmes conçus par des acteurs privés freinerait profondément l’innovation »

Ph.D., docteure en sciences des matériaux et en mécanique numérique à Mines Paris-Tech, Aurélie Jean a été développeur à Bloomberg. En 2016, elle a créé la société In Silico Veritas spécialisée en algorithmique et en modélisation numérique. Elle s’intéresse particulièrement à la détection et à la diminution des biais algorithmiques au sein des outils numériques et des modèles. Aujourd’hui, elle vit et travaille entre la France et les États-Unis. Elle vient de publier son dernier livre. Intitulé « Les algorithmes font-ils la loi ? » (Ed. de l’Observatoire), elle nous appelle à agir et propose de dompter (plutôt que de réguler) les algorithmes.

Techniques de l’Ingénieur : Page 91 de votre livre « Les algorithmes font-ils la loi ? », vous parlez de la nécessité d’expliquer un algorithme afin de s’assurer de son caractère juste. Cette méthode, appelée fairness en anglais, est encore au stade du développement. Cette volonté d’expliquer cela est-elle partagée par toutes les entreprises ?

Aurélie Jean : Difficile à dire. Disons que les scientifiques et les ingénieurs avec lesquels je collabore sont très attachés à cette notion. Je partage également cette vision avec mes clients qui me suivent sur cette idée. En plus des considérations techniques et éthiques évidentes, le risque réputationnel des entreprises qui auraient un mauvais contrôle de la fairness est énorme. Ce concept vise à garantir que l’algorithme considère chaque individu de manière juste et rationnelle, en évitant toute forme de discrimination qui amènerait à examiner injustement une personne au lieu d’une autre. Il s’agit de chercher à prouver l’indépendance de la réponse algorithmique envers certaines variables reconnues comme sensibles, telles que la couleur de peau, l’âge ou le genre dans certaines situations. Or, des scandales démontrent un mauvais contrôle de la fairness. On se souvient tous de la différence de traitement injustifiée entre les hommes et les femmes sur l’obtention d’une ligne de crédit.

Quels sont les risques si on ne joue pas la transparence ?

Dans mon livre je parle de transparence sur les erreurs commises et les moyens de les réparer. Même si la transparence des algorithmes de l’État est en effet fondamentale – si elle est accompagnée d’un support pédagogique pertinent -, la publication systématique des algorithmes développés par les acteurs privés est une aberration. Tout d’abord d’un point de vue technique, cela ne nous permettrait pas de comprendre de manière optimale, comment l’algorithme fonctionne. En effet, nous ne pourrions appliquer que des méthodes de calcul d’explicabilité post-entrainement. Ces calculs permettent d’extraire même en partie la logique de l’algorithme. Ils s’appliquent avant, pendant et après l’entrainement.

Cela peut paraitre surprenant, mais vous n’êtes pas en faveur de la transparence des algorithmes conçus par des acteurs privés.

Oui, cette transparence freinerait profondément l’innovation car les acteurs, dont je fais partie, ne déploieraient pas leurs outils sur des territoires qui imposerait une telle transparence. En revanche, et c’est ce que je défends dans mon dernier livre, il faut imposer le calcul d’explicabilité de ces algorithmes. Cela fait partie de la mise en place de bonnes pratiques de développement, de test et d’usage des algorithmes. On parle aussi de gouvernance algorithmique.

Contrairement à des idées reçues, ce n’est pas le volume de données (big data) qui est essentiel, mais la qualité des data et d’autres méthodes d’apprentissage (few shot). Mais comme vous dites, « cette étape de préparation est chronophage et fastidieuse ». Or, le discours marketing est plutôt « achetez ma solution clés en main, qui est facile à utiliser et qui est performante ! » D’où les risques de désillusions et de dérives ?

C’est plus subtil que cela. Nous avons besoin de modèles abstraits pour pouvoir résoudre des problèmes complexes. Cela étant dit, et ce que je défends dans le livre, c’est l’importance de mesurer le coût de la décision de faire plus gros – considérant l’efficacité apportée, mais aussi du coût énergétique -, ainsi que d’appliquer des méthodes de calcul d’explicabilité algorithmique qui permettent d’extraire, même en partie, la logique de fonctionnement de l’algorithme. Ce qui permet d’anticiper les erreurs, ainsi que les risques de discrimination technologique. Chaque cas est différent, utiliser des solutions clés en main peut fonctionner, difficile de faire des généralités. Cela étant dit, on peut tester soi-même les solutions clés en main pour justement extraire une partie de la logique, mettre en évidence des erreurs, et ne pas attendre qu’un utilisateur s’en aperçoive parfois à ses dépens.