Présentation

Article

1 - CARACTÉRISATION DES MÉGADONNÉES

  • 1.1 - Modèle des 3V étendu aux 5V
  • 1.2 - Mégadonnées et informatique décisionnelle

2 - DE L’USAGE DES MÉGADONNÉES

  • 2.1 - Domaine de la recherche scientifique
  • 2.2 - Domaine de la santé
  • 2.3 - Domaine socio-économique et politique
  • 2.4 - Domaine du transport et de l’énergie

3 - STOCKAGE ET GESTION DES MÉGADONNÉES

4 - ANALYSE DES MÉGADONNÉES

  • 4.1 - Intérêt de l’apprentissage automatique
  • 4.2 - Analyse de mégadonnées stockées
  • 4.3 - Analyse de flots de données
  • 4.4 - Analyse de données
  • 4.5 - Analyse de textes
  • 4.6 - Analyse du Web

5 - CONCLUSION

| Réf : H6040 v1

De l’usage des mégadonnées
Introduction au Big Data - Opportunités, stockage et analyse des mégadonnées

Auteur(s) : Bernard ESPINASSE, Patrice BELLOT

Relu et validé le 23 oct. 2020

Pour explorer cet article
Télécharger l'extrait gratuit

Vous êtes déjà abonné ?Connectez-vous !

Sommaire

Présentation

Version en anglais English

RÉSUMÉ

L’objet de cet article est de cerner ce terme Big Data ou mégadonnées. Dans un premier temps, les mégadonnées sont caractérisées au travers du modèle des 3V étendu au 5V. La problématique des mégadonnées est distinguée de celle de l’informatique décisionnelle. Les enjeux économiques et sociétaux associés aux mégadonnées sont abordés en présentant différents exemples d’usage relevant de différents domaines d’activité. Sont ensuite introduites différentes grandes méthodes et techniques associées au stockage et à l’exploitation/analyse de ces mégadonnées.

Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.

Lire l’article

Auteur(s)

  • Bernard ESPINASSE : Professeur des Universités, - Aix-Marseille Université, - École Polytechnique Universitaire de Marseille, - LSIS UMR CNRS 7296, Marseille, France.

  • Patrice BELLOT : Professeur des Universités, - Aix-Marseille Université, - École Polytechnique Universitaire de Marseille, - LSIS UMR CNRS 7296, Marseille, France.

INTRODUCTION

Depuis une vingtaine d’années, les données générées n’ont fait que s’accroître. Actuellement nous produisons annuellement une masse de données très importante estimée à près de 3 trillions (3.1018) d’octets de données. On estime ainsi qu’en 2016 90 % des données dans le monde ont été créées au cours des deux années précédentes . Selon le rapport IDC (International Data Corporation), la masse totale des données crée et copiée de par le monde pour 2011 était de 1,8 zettaoctets, soit de 1021 octets, et s’accroît d’un facteur 9 tous les 5 ans . Cet accroissement des données touche tous les secteurs, tant scientifiques qu’économiques, ainsi que le développement des applications Web et les réseaux sociaux .

Dans ce contexte, est apparu le terme Big Data. L’origine de ce terme anglo-saxon, littéralement « grosses données », est controversée, et sa traduction française officielle recommandée est mégadonnées, même si parfois on parle de données massives.

Ces mégadonnées sont maintenant au centre des préoccupations des acteurs de tous les domaines d’activité. Ainsi le taux de croissance annuel moyen mondial du marché de la technologie et des services autour du Big Data sur la période 2011-2016 est estimé à plus de 30 %. D’après une étude IDC de 2013, ce marché devrait ainsi atteindre 23,8 milliards de dollars en 2016. Sur le plan européen, l’activité autour des mégadonnées devrait représenter autour de 8 % du PIB européen en 2020 (AFDEL février 2013). D’après le cabinet Markess International, le marché français des solutions et services en analytique, big data et gestion des données aurait atteint 1,9 milliard d’euros en 2015. Son taux de croissance annuel moyen d’ici 2018 est attendu à plus de 12 % (d’après Le monde informatique du 15 mars 2016).

L’objet de cet article est de cerner ce terme Big Data ou mégadonnées, de préciser les enjeux économiques et sociétaux associés, d’introduire différentes grandes méthodes et techniques qui s’y rattachent. On s’intéresse dans cet article à deux grandes problématiques associées aux mégadonnées, d’une part leur stockage, les techniques traditionnelles de stockage de type bases de données relationnelles ne permettant pas de stocker de telles quantités de données, et d’autre part leur exploitation, l’analyse de ces mégadonnées dans des temps raisonnables. En effet, les mégadonnées s’accompagnent principalement du développement d’applications à visée analytique, qui traitent de données pour en tirer du sens. Ces analyses sont généralement appelées Big Analytics, ou Analytique ou encore broyage de données, reposant généralement sur des méthodes de calcul distribué.

La section 1 présente une caractérisation du terme de Big Data ou Mégadonnées, en distinguant son paradigme de celui de l’informatique décisionnelle. Et quelques exemples d’usage des mégadonnées dans différents secteurs d’activité sont présentés à la section 2. La section 3 concerne la problématique du stockage de ces mégadonnées, tandis que la section 4 traite de la problématique de l’analyse des mégadonnées ou « analytique ».

Cet article est réservé aux abonnés.
Il vous reste 94% à découvrir.

Pour explorer cet article
Téléchargez l'extrait gratuit

Vous êtes déjà abonné ?Connectez-vous !


L'expertise technique et scientifique de référence

La plus importante ressource documentaire technique et scientifique en langue française, avec + de 1 200 auteurs et 100 conseillers scientifiques.
+ de 10 000 articles et 1 000 fiches pratiques opérationnelles, + de 800 articles nouveaux ou mis à jours chaque année.
De la conception au prototypage, jusqu'à l'industrialisation, la référence pour sécuriser le développement de vos projets industriels.

VERSIONS

Il existe d'autres versions de cet article :

DOI (Digital Object Identifier)

https://doi.org/10.51257/a-v1-h6040


Cet article fait partie de l’offre

Industrie du futur

(104 articles en ce moment)

Cette offre vous donne accès à :

Une base complète d’articles

Actualisée et enrichie d’articles validés par nos comités scientifiques

Des services

Un ensemble d'outils exclusifs en complément des ressources

Un Parcours Pratique

Opérationnel et didactique, pour garantir l'acquisition des compétences transverses

Doc & Quiz

Des articles interactifs avec des quiz, pour une lecture constructive

ABONNEZ-VOUS

Version en anglais English

2. De l’usage des mégadonnées

Les Mégadonnées ou Big Data sont dès à présent utilisées dans tous les secteurs d’activités, tant scientifiques, techniques que socio-économiques, depuis les données récupérées de l’exploitation de moteurs d’avion permettant de mieux maintenir ou concevoir ces derniers, jusqu’aux données spécifiant nos relations sur les réseaux sociaux pouvant être utilisées par les banques pour estimer la qualité de notre crédit… . Donnons, de façon non exhaustive, quelques exemples d’usage des mégadonnées dans différents grands domaines d’activité.

2.1 Domaine de la recherche scientifique

Dans le domaine scientifique et technique, les scientifiques et ingénieurs font face à des mégadonnées notamment générées automatiquement par des capteurs ou instruments de mesure.

Par exemple dans le domaine de l’astronomie, en huit ans (2000-2008), le Sloan Digital Sky Survey, un grand programme d’observation astronomique, a enregistré 140 téraoctets d’images (140.1012). Mais il ne faudra que cinq jours à son successeur, le LSST (Large Synoptic Survey Telescope) pour acquérir ce volume.

En physique, dans sa quête du boson de Higgs, le grand collisionneur de hadrons (LHC) a amassé de son côté, chaque année, près de 15 pétaoctets de données (15.1015), l’équivalent de plus de 3 millions de DVD.

En recherche médicale, les technologies associées aux mégadonnées ont permis des avancées spectaculaires dans l’analyse du génome humain : alors qu’il a fallu dix ans, et plus de 2 milliards d’euros pour réaliser le premier séquençage humain complet, il est maintenant possible d’en réaliser un en quelques jours et pour environ mille euros. Ces connaissances sur le génome, couplées à d’autres, permettent de mieux comprendre l’évolution de pathologies, d’améliorer les mesures de prévention ou encore les protocoles de soins.

HAUT...

Cet article est réservé aux abonnés.
Il vous reste 95% à découvrir.

Pour explorer cet article
Téléchargez l'extrait gratuit

Vous êtes déjà abonné ?Connectez-vous !


L'expertise technique et scientifique de référence

La plus importante ressource documentaire technique et scientifique en langue française, avec + de 1 200 auteurs et 100 conseillers scientifiques.
+ de 10 000 articles et 1 000 fiches pratiques opérationnelles, + de 800 articles nouveaux ou mis à jours chaque année.
De la conception au prototypage, jusqu'à l'industrialisation, la référence pour sécuriser le développement de vos projets industriels.

Cet article fait partie de l’offre

Industrie du futur

(104 articles en ce moment)

Cette offre vous donne accès à :

Une base complète d’articles

Actualisée et enrichie d’articles validés par nos comités scientifiques

Des services

Un ensemble d'outils exclusifs en complément des ressources

Un Parcours Pratique

Opérationnel et didactique, pour garantir l'acquisition des compétences transverses

Doc & Quiz

Des articles interactifs avec des quiz, pour une lecture constructive

ABONNEZ-VOUS

Lecture en cours
De l’usage des mégadonnées
Sommaire
Sommaire

BIBLIOGRAPHIE

  • (1) - AGRAWAL (D.), DAS (S.), EL ABBADI (A.) -   Big data and cloud computing : current state and future opportunities.  -  In Proceedings of the 14th International Conference on Extending Database Technology (pp. 530-533). ACM (2011).

  • (2) - BLEI (D.) -   *  -  Probabilistic Topic Models, Communications of the ACM (55 : 4), pp. 77-84. M (2012).

  • (3) - BRASSEUR (C.) -   Enjeux et usages du big data.  -  Technologies, méthodes et mises en œuvre, Paris, Lavoisier, p. 30 (2013).

  • (4) - BURBY (J.), BROWN (A.) -   Web Analytics Definitions – Version 4.0.  -  Retrieved from http://www.digitalanalyticsassociation.org/standards (2007).

  • (5) - CATTELL (R.) -   Scalable SQL and NoSQL data stores.  -  ACM SIGMOD Record, 39 (4), pp. 12-27 (2011).

  • (6) - CHEN (H.), CHIANG (R.H.L.), STOREY...

DANS NOS BASES DOCUMENTAIRES

  • Analyse automatique d’opinions. États des lieux et perspectives

  • Coud computing et informatique en nuage.

  • Visualisation d’informations.

  • Systèmes de recommandation.

  • Génération automatique de résumés.

ANNEXES

  1. 1 Conférences

    1 Conférences

    ICDM – International conference on Data Mining

    http://Icdm2016.eurecat.org

    HAUT DE PAGE

    Cet article est réservé aux abonnés.
    Il vous reste 92% à découvrir.

    Pour explorer cet article
    Téléchargez l'extrait gratuit

    Vous êtes déjà abonné ?Connectez-vous !


    L'expertise technique et scientifique de référence

    La plus importante ressource documentaire technique et scientifique en langue française, avec + de 1 200 auteurs et 100 conseillers scientifiques.
    + de 10 000 articles et 1 000 fiches pratiques opérationnelles, + de 800 articles nouveaux ou mis à jours chaque année.
    De la conception au prototypage, jusqu'à l'industrialisation, la référence pour sécuriser le développement de vos projets industriels.

    Cet article fait partie de l’offre

    Industrie du futur

    (104 articles en ce moment)

    Cette offre vous donne accès à :

    Une base complète d’articles

    Actualisée et enrichie d’articles validés par nos comités scientifiques

    Des services

    Un ensemble d'outils exclusifs en complément des ressources

    Un Parcours Pratique

    Opérationnel et didactique, pour garantir l'acquisition des compétences transverses

    Doc & Quiz

    Des articles interactifs avec des quiz, pour une lecture constructive

    ABONNEZ-VOUS