Lutte contre la pédopornographie: Apple est-il trop curieux ?

Les images pédopornographiques diffusées sur Internet ne cessent de proliférer. En 2009, moins d’un million de ces contenus circulaient sur le web. Dix ans plus tard, ce volume atteint 45 millions rien qu’aux États-Unis, selon une enquête du New York Times publié fin 2019.

Comme d’autres pays, la France dispose de différents services dédiés à la lutte contre la pédopornographie. Citons notamment trois services de la gendarmerie : l’institut de recherche criminelle de la gendarmerie nationale (créé en 1987), le Département de surveillance de l’Internet (DSI), créé en 1998, et le Centre national d’analyse des images pédophiles (CNAIP), opérationnel depuis fin 2003. De son côté, la police forme des enquêteurs spécialisés en technologies numériques (appelés enquêteurs NTECH).

Au Canada, toutes les 12 heures, le robot Arachnid détecte 10 824 nouvelles images d’abus pédosexuels sur l’Internet. Lorsqu’une telle image est détectée, le robot envoie un avis à l’hébergeur lui demandant de la retirer immédiatement, révèle La Presse Canadienne.

Backdoor

Même si la pédopornographie n’est pas récente, son expansion est liée à l’explosion du numérique, du haut débit et de la généralisation des smartphones. Pour limiter la diffusion de tels contenus, Apple prévoit de scanner les photos stockées sur les iPhone (dont l’application Messages utilisée pour envoyer des SMS) et iCloud à la recherche d’images d’abus d’enfants.

Le système, appelé neuralMatch, s’appuie sur la base de données contenant 200 000 images du National Center for Missing & Exploited Children. « Une fois qu’un certain nombre de photos sont détectées, les photos en question sont envoyées à des réviseurs humains au sein d’Apple, qui déterminent si les photos font bien partie de la base de données CSAM (Child Sexual Abuse Material). Si l’examinateur humain le confirme, ces photos seront envoyées au NCMEC (The National Center for Missing & Exploited Children) et le compte de l’utilisateur sera désactivé », explique Apple.

Déployée dans un premier temps aux États-Unis, cette fonctionnalité ressemble au service PhotoDNA de Microsoft. La principale différence réside dans le fait que la numérisation d’Apple se fera sur l’appareil. Mais ce louable objectif n’entre-t-il pas en conflit avec le respect de la vie privée ?

Pour les membres de l’Electronic Frontier Foundation (EFF), « l’exploitation des enfants est un problème grave, mais le choix d’Apple aura un prix élevé pour la vie privée globale des utilisateurs, car cette fonctionnalité est une backdoor. Elle ouvrira la porte à des abus plus larges ».

« Deux mécanismes entrent en jeu : une analyse Machine Learning en local et une comparaison des hashs des photos avec le hash de la base de données CSAM [la fonction de hachage consiste à faire passer la photo dans un « hachoir » pour obtenir une empreinte donc une suite numérique qui correspond à la photo, ce qui permet de respecter la vie privée. Cette technique est aussi utilisée pour sauvegarder des mots de passe de façon plus sûre, NDLR]. L’intervention de l’IA au niveau local est de plus en plus fréquente et depuis longtemps, notamment dans les applications d’appareils photo sur smartphone. En soi, ce n’est pas la technologie qui est dangereuse à partir du moment que cela respecte complètement la réglementation locale (à savoir le RGPD pour les Européens) », précise Mathieu Gemo, co-fondateur de BlueFiles, un éditeur français spécialisé dans le chiffrement des données.

Transparence et algorithmes privés

Mais pour le co-fondateur de BlueFiles, la réflexion est plus délicate avec le second mécanisme. D’un côté, « il a l’avantage de ne pas compromettre le respect de la vie privée. En effet, le hash, appelé NeuralHash, est produit depuis la photo source en clair sur l’appareil. C’est compatible avec les mécanismes de stockage chiffré des photos comme sur iCloud. Seul le NeuralHash, comme dossier de preuve, est potentiellement transmis et ne remet pas en cause normalement la confidentialité de la photo », précise Mathieu Gemo.

Cette fonctionnalité « pose toutefois de nombreuses interrogations sur le traitement juridique en termes de localité et les potentielles erreurs techniques qui pourraient avoir des conséquences désastreuses que l’on peut imaginer. Le risque d’erreur sur la dénonciation éventuellement erronée est le plus inquiétant ainsi que la légitimité de la preuve provenant d’algorithme privé ou de l’autorité traitant ces données et leur suite juridique », note Mathieu Gemo.

Autres questions soulevées par cet expert : le NeuralHash ne sera-t-il transmis qu’en cas de doute ou toutes les données seront conservées ? Si oui, où et combien de temps, consultables par qui ?

Pour Tristan Nitot, ancien président de Mozilla Europe et co-fondateur d’Unsearch.io, « l’approche d’Apple est très perturbante, pour plusieurs raisons. La première est la confirmation que les sauvegardes sur iCloud ne sont pas chiffrées, ce qui est un non-sens d’un point de vue sécurité. On s’en doutait depuis longtemps, mais Apple disait qu’ils travaillaient dessus. Aujourd’hui, cette volonté semble s’être évanouie. Cela augure mal le futur à ce sujet. Deuxièmement, c’est choquant de la part d’une entreprise qui mise beaucoup sur la vie privée. Enfin, c’est une pente glissante et donc risquée. Car il ne faut pas oublier qu’Apple vend ses produits dans le monde entier. Et qu’ils suivent logiquement les lois des différents pays. »

Tristan Nitot rappelle aussi qu’on voit « déjà des régimes autoritaires exiger des changements à la politique d’Apple. Il ne s’agirait plus simplement de scanner les images pédophiles, mais aussi traquer des gens dont la vie n’est pas du goût des autorités (homosexualité, LGBTQ, ou partage de caricatures politiques). Une fois une telle infrastructure logicielle en place, il suffirait de quelques modifications pour mettre sous surveillance non plus seulement des enfants à protéger, mais des citoyens à traquer, que ce soit pour leur style de vie ou leurs opinions ».

Au final, cette affaire relance la problématique sur l’absence de transparence des algorithmes privés et leurs conséquences sociales et juridiques dans la vie réelle.