ChatGPT et les biais discriminatoires : peut mieux faire !

ChatGPT reconnaît qu’il n’est pas parfait ! Depuis son lancement en novembre 2022, le chatbot de l’entreprise américaine OpenAI est utilisé par de nombreuses entreprises pour différents usages : rédaction de campagnes marketing, d’email, de rapports… mais aussi de développement de logiciels ou de codes malveillants !

Cette solution présente pourtant des limites qu’il convient de connaître : elle n’indique pas ses sources, elle produit des contenus peu personnalisés, les informations ne sont pas toujours fiables…

Mais surtout, ChatGPT et ces modèles d’intelligence artificielle générative (ou GenAI en anglais) ne parviennent pas à représenter avec précision les nuances et les variations des opinions humaines. D’ailleurs, ChatGPT le reconnaît lui-même lorsque nous lui posons cette question :

Pour mesurer dans quelle mesure ces modèles reflètent les opinions de divers segments démographiques, OpinionQA (un groupe d’étude menée par Shibani Santurkar, ancien chercheur postdoctoral à Stanford) compare leurs propensions à celles relevées dans les sondages d’opinion.

L’équipe de l’étude s’est notamment appuyée sur les « American Trends Panels » (ATP) de Pew, un sondage d’opinion approfondi qui couvre un large éventail de questions. Or, ces outils de GenAI favorisent encore trop les biais discriminatoires, selon cette étude.

Premièrement, les modèles mis à jour ont été améliorés grâce aux informations recueillies par les entreprises à partir de commentaires humains. Ces personnes classent les compléments de modèle comme « bons » ou « mauvais », ce qui peut entraîner un biais, car leurs jugements, voire ceux de leurs employeurs, peuvent affecter les modèles.

Deuxièmement, les modèles d’IA, élaborés principalement à partir de données en ligne, présentent souvent des biais en faveur des points de vue conservateurs, des classes inférieures ou des personnes moins éduquées. Par contre, les modèles plus récents, qui ont été améliorés grâce à la curation des commentaires humains, présentent souvent des biais en faveur des profils dits « libéraux », bien éduqués et riches.

Enfin, ces chercheurs ont également découvert que les données d’entraînement présentaient une sous-représentation de plusieurs groupes, notamment les mormons, les veuves et les personnes âgées de plus de 65 ans.

« Il y a de nombreuses façons de biaiser un algorithme. Elles sont moins d’ordre informatique ou algorithmique, que statistique. Disposer d’un échantillon représentatif d’une population que l’on veut adresser par un dispositif est très compliqué. Il y a, premièrement, la reproduction de décisions humaines discriminatoires. Le second risque est la sous-représentation de groupes dans une base d’apprentissage », explique Philippe Besse, Professeur à l’INSA (Institut national des sciences appliquées), au Département de Génie Mathématique et Modélisation.

Shibani Santurkar a précisé que l’étude ne catégorisait pas chaque biais comme intrinsèquement bon ou mauvais, mais qu’elle tentait plutôt de sensibiliser les développeurs et les utilisateurs à la présence de ces biais.