Présentation
EnglishRÉSUMÉ
Cet article présente la problématique et les défis liés à l’évaluation et l’amélioration de la qualité des données. Il décrit les solutions issues du monde de la recherche ainsi que les principales approches mises en œuvre en pratique pour gérer les problèmes de qualité des données que sont les données incorrectes ou erronées, manquantes ou incomplètes, les doublons, les données obsolètes, incohérentes ou aberrantes. Les principales techniques pour le diagnostic et la correction y sont présentées pour permettre la modélisation, la mesure, le contrôle et l'amélioration de la qualité des données dans les bases et les entrepôts de données structurées.
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleAuteur(s)
-
Laure BERTI-ÉQUILLE : Professeur - Laboratoire d’Informatique et Systèmes - Aix-Marseille Université - Marseille, France
INTRODUCTION
Les problèmes de qualité des données stockées dans les bases et les entrepôts de données se propagent de façon endémique à tous les types de données (structurées ou non) et dans tous les domaines d’application : données du Web, données gouvernementales, commerciales, industrielles ou scientifiques. Il s’agit en particulier d’erreurs sur les données, de doublons, d’incohérences, de valeurs manquantes, incomplètes, incertaines, obsolètes, aberrantes ou peu fiables. Les conséquences de la non-qualité des données (ou de leur qualité médiocre) sur les prises de décision et les coûts financiers qu’elle engendre sont considérables : l’institut Gartner estime que plus de 25 % des données critiques des plus grandes entreprises mondiales sont erronées. Les problèmes de qualité des données coûtent des millions chaque année à l’économie mondiale. Aussi, dans la plupart des projets de développement centrés sur l’utilisation et l’analyse des données, le nettoyage des données constitue entre 30 et 80 % du budget global et du temps de développement qui sont dédiés à l’amélioration de la qualité des données plutôt qu’à la réalisation du système ou du logiciel .
À l’ère du « Big Data », les sources d’information disponibles se multiplient et les volumes de données potentiellement accessibles augmentent de façon exponentielle. La qualité des données et, plus largement, la qualité des informations et leur véracité ont de fait pris une importance majeure, non seulement au sein des entreprises et dans le monde académique, mais aussi pour le grand public, premier consommateur et producteur d’informations en ligne. Il est devenu essentiel de connaître la qualité des données produites et utilisées, d’une part pour adapter leur usage et, d’autre part, pour ne pas la laisser se dégrader.
Évaluer en continu la qualité des données stockées dans les systèmes d’information, les bases et les entrepôts de données ou encore sur le Web est devenu crucial car il s’agit de :
-
proposer aux utilisateurs des mesures objectives et une expertise critique de la qualité des données qui peuvent servir à une prise de décision ;
-
leur permettre de relativiser la confiance qu’ils pourraient accorder aux données pour qu’ils les utilisent ou les analysent avec précaution.
Si une analyse et une prise de décision peuvent être réalisées sur des données inexactes, incomplètes, ambiguës et de qualité médiocre, on peut alors s’interroger sur le sens à donner à ces résultats et remettre en cause, à juste titre, la qualité des connaissances ainsi « élaborées ».
Une panoplie de solutions aux multiples problèmes de qualité des données vous sera présentée dans cet article. L’objet de cette synthèse est également d’ouvrir la réflexion sur les perspectives de recherche et de développement actuelles permettant d’assurer le contrôle et la gestion de la qualité des données structurées mais aussi, plus largement, la qualité des données accessibles sur le Web.
Nos principales motivations sont de souligner que :
-
l’impact de la non-qualité des données comme sa méconnaissance retentit à chaque étape d’un processus de traitement ou d’analyse des données (modélisation, collecte/import, stockage, gestion, intégration, interrogation, analyse exploratoire, fouille et apprentissage automatique à partir des données) ;
-
plusieurs techniques doivent souvent être combinées pour mesurer et consolider la qualité des données ; et enfin,
-
de nombreuses voies de recherche et de développement restent aujourd’hui « grandes ouvertes » et des innovations sont attendues (certaines sont imminentes), notamment concernant la qualité des données complexes que sont les séries spatio-temporelles et les données multimodales (combinant par exemple, géolocalisation, texte, image, audio ou vidéo).
Comme tout état de l’art, cet article a ses limites : proposer un fil conducteur pour décrire l’évolution des techniques permettant de remédier à la non-qualité des données est d’autant plus difficile que l’exercice est souvent spécifique à l’évolution des besoins et aux problèmes de qualité de données rencontrés dans un domaine ou une application particuliers.
La mesure de la qualité des données s’opère sur de multiples dimensions et elle est relative au contexte et à la finalité d’usage et d’application des données. Typiquement, la définition d’une métrique et son importance seront différentes :
-
selon le mode de collecte ou de production des données. Par exemple, en cas de saisie par formulaire avec des champs textuels libres ou des chaînes de caractères, on recherchera, à évaluer les distributions des chaînes de caractères et celles de leur longueur et à privilégier l’utilisation de listes fermées et de contraintes sur les champs de saisie pour quantifier et limiter les erreurs typographiques ;
-
selon la finalité des données. Par exemple, si la finalité est d’appliquer une série de méthodes d’analyse statistique et d’apprentissage automatique à partir des données, on cherchera à quantifier le nombre de valeurs manquantes, à discerner, parmi les données jugées « hors-norme » (outliers), celles qui sont aberrantes de celles qui sont légitimement exceptionnelles afin de les remplacer ou de les traiter séparément. Il s’agit aussi de transformer la distribution du jeu de données pour qu’elle soit adaptée aux contraintes et aux hypothèses imposées par certaines méthodes d’analyse (par exemple, en normalisant les données et en éliminant les variables corrélées).
MOTS-CLÉS
Métadonnées qualité des données science des données détection d'anomalies nettoyage des données réparation de bases de données indicateurs de qualité
VERSIONS
- Version archivée 1 de août 2006 par Laure BERTI-ÉQUILLE
DOI (Digital Object Identifier)
CET ARTICLE SE TROUVE ÉGALEMENT DANS :
Accueil > Ressources documentaires > Technologies de l'information > Technologies logicielles Architectures des systèmes > Big Data > Qualité des données > Comment mesurer la qualité des données ?
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(240 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
2. Comment mesurer la qualité des données ?
2.1 Identifier les sources de problèmes
Mesurer la qualité des données peut permettre d’identifier précisément l’origine des problèmes de qualité des données et d’en évaluer l’importance en termes d’impact, et par la suite, de définir des priorités et un plan d’actions ciblées et calibrées. Typiquement, on ne veut/peut pas corriger toutes les erreurs, car cela peut présenter un coût considérable d’autant que tous les problèmes de qualité des données n’ont pas la même importance.
Comme le présente le tableau 2, les causes des problèmes de qualité de données sont d’origines très diverses, selon l’étape de traitement des données considérée. Éliminer, à la source, les problèmes de qualité doit idéalement se faire à chaque étape dans la mise en place d’une solution centrée sur les données : dès les premières spécifications d’un système d’information ou de gestion des données, lors de l’analyse et la modélisation, à la conception, durant le développement et également lors de la maintenance du système, ainsi que tout au long de la chaîne de traitement des données (collecte, acquisition, gestion, analyse, visualisation jusqu’à la prise de décision).
En pratique, traquer les problèmes à chaque étape peut présenter un coût prohibitif. Il s’agit donc d’estimer au préalable le ratio coût/gain pour la mise en place d’une action d’évaluation ou d’amélioration de la qualité des données à telle ou telle étape du traitement des données, et cela, en fonction d’un (ou plusieurs) critère(s) de performance que l’on souhaite optimiser.
Par exemple, pour une entreprise, vérifier l’obsolescence des adresses postales de ses clients va permettre un gain sur le coût des envois postaux (factures, relances) en diminuant les retours de courriers et en réduisant indirectement les délais de paiement des factures. Cette vérification et la mise à jour des adresses a évidemment un coût (souvent proportionnel à la précision attendue).
La figure 4 présente le cercle vertueux pour la gestion de la qualité des données avec les principales solutions possibles....
TEST DE VALIDATION ET CERTIFICATION CerT.I. :
Cet article vous permet de préparer une certification CerT.I.
Le test de validation des connaissances pour obtenir cette certification de Techniques de l’Ingénieur est disponible dans le module CerT.I.
de Techniques de l’Ingénieur ! Acheter le module
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(240 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Comment mesurer la qualité des données ?
BIBLIOGRAPHIE
-
(1) - BARNETT (V.), LEWIS (T.) - Outliers in Statistical Data. – - John Wiley and Sons (1994).
-
(2) - BATINI (C.), SCANNAPIECO (M.) - Data and Information Quality – Dimensions, Principles and Techniques. - Data-Centric Systems and Applications, Springer (2016).
-
(3) - BREUNIG (M.), KRIEGEL (H.), NG (R.), SANDER (J.) - LOF : Identifying density-based local outliers ; – - International Conference ACM SIGMOD, p. 93-104 (2000).
-
(4) - BERTI-ÉQUILLE (L.) - Modelling and measuring data quality for quality-awareness in data mining, – - Quality Measures in Data Mining, Studies in Computational Intelligence, F. Guillet and H. Hamilton (eds), Springer, June 2006.
-
(5) - BERTI-ÉQUILLE (L.) - La qualité et la gouvernance des données au service de la performance des entreprises, - Hermès-Lavoisier, Septembre 2012.
-
...
DANS NOS BASES DOCUMENTAIRES
Conférences internationales :
-
Very Large Databases (VLDB) Conference : http://vldb.org/conference.html
-
ACM Special Interest Group on Management of Data SIGMOD : https://dl.acm.org/event.cfm?id=RE227
-
MIT International Conference on Information Quality (MIT ICIQ) http://ualr.edu/informationquality/iciq-proceedings/
ISO/TS 8000-1 (2011), Data quality – Part 1 : Overview https://www.iso.org/standard/50798.html
ISO 8000-2 (2017), Data quality – Part 2 : Vocabulary https://www.iso.org/standard/73456.html
ISO 8000-8 (2015), Data quality – Part 8 : Information and data quality : Concepts and measuring https://www.iso.org/standard/60805.html
ISO 8000-61 (2016), Data quality – Part 61 : Data quality management : Process reference model https://www.iso.org/standard/63086.html
ISO 8000-100 (2016), Data quality – Part 100 : Master data : Exchange of characteristic data : Overview https://www.iso.org/standard/62392.html
...
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(240 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
QUIZ ET TEST DE VALIDATION PRÉSENTS DANS CET ARTICLE
1/ Quiz d'entraînement
Entraînez vous autant que vous le voulez avec les quiz d'entraînement.
2/ Test de validation
Lorsque vous êtes prêt, vous passez le test de validation. Vous avez deux passages possibles dans un laps de temps de 30 jours.
Entre les deux essais, vous pouvez consulter l’article et réutiliser les quiz d'entraînement pour progresser. L’attestation vous est délivrée pour un score minimum de 70 %.
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(240 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive