Danemark: le recours à l'IA pour les aides sociales risque de discriminer les plus fragiles

Les bénéficiaires d’aides sociales au Danemark risquent d’être plus contrôlés et discriminés que les autres à cause de l’utilisation d’algorithmes censés démasquer les fraudeurs, estime mercredi un rapport de l’ONG Amnesty International.

« Cette surveillance de masse a créé un système de prestations sociales qui risque de cibler, plutôt que de soutenir, les personnes qu’il est censé protéger », a dit Hellen Mukiri-Smith, chercheuse en IA et l’une des auteurs du rapport.

Amnesty a pu examiner quatre algorithmes — aux données expurgées — parmi les 60 utilisés par l’agence danoise chargée du paiement des prestations sociales Udbetalning Danmark pour identifier les fraudes depuis plus d’une dizaine d’années.

Ces algorithmes sont générés à partir des données personnelles provenant de bases de données publiques de résidents danois, comme le permet la législation du pays scandinave de 5,9 millions d’habitants.

Ils traquent les fraudes dans une multitude de domaines, des allocations familiales au versement des retraites, en passant par les indemnités de congé parental, de congé de maladie et les bourses étudiantes.

Ces données comprennent des informations sur le lieu de résidence, les déplacements, la citoyenneté, le lieu de naissance, les relations familiales et les revenus – « des données sensibles qui peuvent également servir d’indicateurs de la race, de l’origine ethnique ou de l’orientation sexuelle d’une personne », a déploré l’ONG.

L’un des algorithmes, baptisé le +modèle étranger+, est notamment fondé sur la nationalité du bénéficiaire. Son but est de déterminer si les personnes ont déménagé à l’étranger sans le dire tout en profitant de prestations sociales.

« Cela viole directement leur droit à la non-discrimination en raison de l’utilisation du critère de citoyenneté », a dit à l’AFP David Nolan, autre auteur du rapport.

D’après le rapport, 90% des cas ouverts du fait de cet algorithme ne sont pas frauduleux.

Un autre écueil du système danois est sa capacité d’exclusion de groupes marginalisés (personnes âgées, étrangers, etc.), estime Amnesty.

Pour remédier à ces failles, Amnesty appelle les autorités danoises à plus de transparence et à autoriser l’audit des algorithmes.

Elles doivent être plus précautionneuses dans l’intégration des données personnelles dans un modèle algorithmique afin de déterminer le risque de fraude.

« Nous voulons qu’ils interdisent l’utilisation de tout type de données relatives à la citoyenneté ou à la nationalité (…) dont nous savons qu’elles sont discriminatoires », a ajouté M. Nolan.

L’utilisation de l’intelligence artificielle par les systèmes de protection sociale des pays occidentaux fait l’objet de nombreuses critiques de la société civile.

Début octobre, des associations, dont Amnesty, ont contesté devant la justice française un algorithme utilisé par la Caisse nationale des allocations familiales (CNAF) pour détecter les versements indus parmi ses allocataires.