Stockage et gestion des mégadonnées
Introduction au Big-Data — stockage, analyse et fouille des mégadonnées

L’objet de cet article est de cerner le terme Big Data, de préciser les enjeux économiques et sociétaux associés, d’introduire différentes grandes méthodes et techniques qui s’y rattachent. Même si l’origine du terme Big Data est controversée, on estime qu’il est apparu en 1997, et sa traduction française officielle recommandée est “mégadonnées”, même si parfois on parle de “données massives”. Récemment, la diffusion des approches et des applications exploitant les réseaux de neurones a tendance à remplacer ce terme dans l’imaginaire collectif par ceux de Data science, d’Intelligence Artificielle ou de Machine Learning, et même si chacun renvoie à des domaines différents, les questions d’ingénierie et de recherche qui y sont communes sont nombreuses : elles concernent le stockage, la gestion, le traitement, l’analyse et l’exploitation (usages) de très grandes quantités de données, les opportunités et les risques qui leur sont associés.

Depuis au moins une trentaine d’années, les données générées n’ont fait que s’accroître. Actuellement, nous produisons annuellement une masse de données estimée à près de 74 zettaoctets, soit un équivalent de plus de 1 Go par heure et par habitant de la planète. À l’horizon 2025, cette quantité est amenée à plus que doubler . Cet accroissement des données touche tous les secteurs, tant scientifiques que culturels, industriels ou financiers.

Le taux de croissance annuel moyen mondial du marché de la technologie et des services autour du Big Data a été estimé à plus de 30 % sur la période 2011-2016 et demeure aux alentours de 20 % depuis. D’après une étude IDC, ce marché a atteint 23,8 milliards de dollars en 2016 et 90 milliards en 2021 pour les seuls logiciels BigData et autres services dans le cloud. Toujours selon IDC, sur le plan européen, les dépenses sont estimées à 50 milliards de dollars pour 2022 pour les Big Data and business analytics (BDA) solutions.

On s’intéresse dans cet article à deux grandes problématiques associées aux mégadonnées, d’une part leur stockage et d’autre part leur analyse et exploitation selon des approches statistiques et d’apprentissage machine, tout en identifiant les limites des approches traditionnelles et historiques. Les mégadonnées s’accompagnent principalement du développement d’applications à visée analytique ou prédictive, qui traitent de données pour en tirer du sens, les classer, les rechercher ou les filtrer, ou encore pour réaliser des estimations d’états à venir ou de valeurs futures. Ces analyses sont généralement appelées « Big Analytics », ou « Analytique » et reposent sur des méthodes de calcul distribué et parallèle, souvent coûteuses en temps de calcul et en énergie et nécessitant une mise au point et une maintenance complexe (paramétrisation, évaluation, adaptation, conservation, interprétation).

Dans la section 1, nous essayons de caractériser le terme de Big Data ou mégadonnées, en distinguant son paradigme de celui de l’informatique décisionnelle. Dans la section 2, nous donnons quelques exemples d’usage des mégadonnées dans différents secteurs d’activité. La section 3 concerne la problématique du stockage de ces mégadonnées, tandis que la section 4 traite de l’analyse des mégadonnées ou « analytique ».