Détection et correction des problèmes de qualité de données par apprentissage automatique

Des progrès significatifs ont été accomplis ces dernières années dans la conception d’outils permettant d’automatiser l’évaluation, le suivi et l’amélioration de la qualité des données, notamment grâce aux avancées technologiques de l’Intelligence Artificielle, et en particulier, de l’apprentissage automatique (ML – Machine Learning). Les techniques d’apprentissage ont été rendues opérationnelles à grande échelle et largement déployées dans tous les secteurs d’activités afin d’automatiser les tâches de prédiction et de classification en aide à la décision pour de nombreux domaines d’application (santé, finance, marketing, etc.). La fiabilité des résultats de ces méthodes demeure cependant très dépendante de la qualité des données en entrée des modèles d’apprentissage. Les données sont souvent imparfaites et la qualité des données optimale est rarement au rendez-vous. Ainsi, deux approches complémentaires sont communément proposées : l’une émanant de la communauté de recherche en gestion des données visant à corriger les données en amont des chaînes d’analyse (par nettoyage ou réparation des données) et l’autre issue de la communauté des chercheurs et praticiens en apprentissage (data scientists) visant à développer des modèles plus robustes au bruit et plus performants en mettant davantage l’accent sur la transformation et la préparation des données en fonction d’une tâche prédictive particulière.

Pendant des décennies, pour la communauté spécialisée en gestion des données, le nettoyage des données a consisté à corriger et transformer les données par des approches déclaratives de type ETL (Extraction-Transformation-Loading) , à détecter les incohérences dans les bases de données relationnelles sous forme de violation de contraintes, à les « réparer » et à proposer des solutions souvent théoriques permettant le raisonnement à partir des données incohérentes, leur interrogation, la vérification et la satisfaction de contraintes d’intégrité , la découverte de dépendances fonctionnelles ou de règles métier dans le but de corriger la base en un nombre minimal de mises à jour , d’éliminer les doublons ou de retourner une réponse cohérente aux requêtes .

Dans la pratique, les analystes confrontés à des anomalies dans leurs jeux de données utilisent, quant à eux, des chaînes de prétraitement permettant de préparer et transformer les données pour qu’elles soient conformes aux attendus des modèles employés . Ils utilisent un ensemble de transformations automatiques et de procédures d’étiquetage souvent manuelles. En pratique, l’approche la plus courante consiste soit à exclure de l’analyse les données en erreur, soit à les gérer séparément en utilisant souvent plusieurs méthodes pour la détection et le remplacement des erreurs.

Dans cet état de l’art (qui ne saurait être exhaustif), notre objectif est de montrer :

1) que les erreurs dans les données peuvent considérablement affecter les résultats des modèles d’apprentissage  ;

et 2) qu’il existe de nombreuses techniques d’apprentissage permettant détecter les anomalies et les corriger de façon semi- voire totalement automatique et nous en ferons un rapide tour d’horizon limité au cas des données structurées sous forme de tables.

Les perspectives de recherche et de développement sont nombreuses pour évaluer la qualité des données complexes, notamment multimodales et spatio-temporelles (incluant, par exemple, texte, image, audio, vidéo, série temporelle géolocalisée), car assez peu de travaux existent aujourd’hui pour combiner ces différents signaux, détecter et corriger les anomalies en croisant les modalités. Les techniques d’apprentissage automatique offrent de nombreux avantages grâce à des représentations sous forme vectorielle (tenseurs, plongements (embeddings)) permettant ainsi d’analyser conjointement différents types de données et d’exploiter leurs caractéristiques latentes, ouvrant ainsi la voie à de nouvelles perspectives de recherche et d’innovation.