Enjeux et usages du Big Data  : Technologies, méthodes et mise en oeuvre

Christophe Brasseur

Description

Le développement spectaculaire d’internet, des réseaux sociaux, de la technologie mobile et la multiplication des capteurs provoquent une croissance exponentielle des données à laquelle les entreprises doivent faire face : c’est le phénomène du Big Data. Ses enjeux sont considérables. Au-delà de la simple question technique du stockage, il offre la possibilité de tirer profit du contenu de ces nouvelles sources d’information. Les solutions décisionnelles classiques laissent progressivement place au Business Analytics et aux méthodes prédictives, transformant l’avalanche de données en valeur ajoutée. La technologie est aujourd’hui disponible, les bases de données traditionnelles ont évolué et les solutions dédiées à l’exploitation des données massives, telles que Hadoop, sont désormais opérationnelles. S’appuyant sur différents cas pratiques, Enjeux et usages du Big Data met l’accent sur les méthodes, les techniques et les ressources nécessaires pour permettre aux entreprises d’entrer avec succès dans l’ère de l’information à grande échelle.

Sujets

• Sciences humaines et sociales
• Informatique

Informations

• Publié par: Hermès - Editions Lavoisier
• Date de parution: 01 avril 2013
• Nombre de lectures: 590
• EAN13: 9782746295209
• Langue: Français
• Poids de l'ouvrage: 3 Mo

Extrait

Enjeux et usages du Big Data

A mes parents, à ma femme Christine et à mes enfants Arthur et Capucine.

J’adresse tous mes remerciements à titre posthume à Nicolas Manson pour sa confiance, sa relecture, ses remarques pertinentes et ses conseils qui m’ont été d’une grande utilité. Mes pensées vont plus particulièrement à sa famille et à ses proches.

Tous mes remerciements également aux équipes d’Hermès dont je salue le grand professionnalisme et la disponibilité.

© 2013, Lavoisier, Paris www.hermesscience.com www.lavoisier.fr ISBN 9782746245204 ISSN 16357361 Le Code de la propriété intellectuelle n'autorisant, aux termes de l'article L. 1225, d'une part, que les "copies ou reproductions strictement réservées à l'usage privé du copiste et non destinées à une utilisation collective" et, d'autre part, que les analyses et les courtes citations dans un but d'exemple et d'illustration, "toute représentation ou reproduction intégrale, ou partielle, faite sans le consentement de l'auteur ou de ses ayants droit ou ayants cause, est illicite" (article L. 1224). Cette représentation ou reproduction, par quelque procédé que ce soit, constituerait donc une contrefaçon sanctionnée par les articles L. 3352 et suivants du Code de la propriété intellectuelle. Tous les noms de sociétés ou de produits cités dans cet ouvrage sont utilisés à des fins d’identification et sont des marques de leurs détenteurs respectifs.

Enjeux et usages du Big Data technologies, méthodes et mise en œuvre

Christophe Brasseur

C OLLECTIONS SOUS LA DIRECTION DE N ICOLAS M ANSON

Collection Management et Informatique Collection Etudes et Logiciels Informatiques Collection Nouvelles Technologies Informatiques Collection Synthèses Informatiques CNAM La liste des titres de chaque collection se trouve en fin d’ouvrage.

Table des matières

Introduction. L’émergence d’un déluge . . . . . . . . . . . . . . . . . . . 11

P REMIÈRE PARTIE .O RIGINES ET ENJEUX DU BIG DATA . . . . . . . . . .17

Chapitre 1. Qu’estce que le big data ?. . . . . . . . . . . . . . . . . . . 19 . 1.1. Une brève histoire des données . . . . . . . . . . . . . . . . . . . . . 19 1.1.1. L’évolution des systèmes d’information. . . . . . . . . . . . . 19 1.1.2. Information et données . . . . . . . . . . . . . . . . . . . . . . . 21 1.1.3. Les données : pour faire quoi et pour qui ? . . . . . . . . . . . 22 1.1.3.1. Les contraintes légales . . . . . . . . . . . . . . . . . . . . 22 1.1.3.2. Les besoins opérationnels . . . . . . . . . . . . . . . . . . 23 1.1.3.3. Les besoins d’analyse et d’aide à la décision . . . . . . 24 1.1.4. Différents types de données . . . . . . . . . . . . . . . . . . . . 24 1.1.4.1. Le texte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.1.4.2. Les dessins vectoriels . . . . . . . . . . . . . . . . . . . . . 25 1.1.4.3. L’image matricielle . . . . . . . . . . . . . . . . . . . . . . 26 1.1.4.4. La vidéo numérique . . . . . . . . . . . . . . . . . . . . . . 26 1.1.4.5. Le son . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 1.1.5. L’explosion du volume de données . . . . . . . . . . . . . . . . 28 1.1.6. L’ouverture des données publiques . . . . . . . . . . . . . . . . 31 1.2. Définition et caractéristiques du big data . . . . . . . . . . . . . . . 33 1.2.1. Définition du big data . . . . . . . . . . . . . . . . . . . . . . . . 33 1.2.2. Caractéristiques du big data . . . . . . . . . . . . . . . . . . . . 35 1.2.3. Big data et décisionnel. . . . . . . . . . . . . . . . . . . . . . . . 37

6 Enjeux et usages du big data

1.3. Qui est concerné par le big data ? . . . . . . . . . . . . . . . . . . . . 39 1.3.1. Les secteurs économiques . . . . . . . . . . . . . . . . . . . . . 39 1.3.2. Les fonctions concernées . . . . . . . . . . . . . . . . . . . . . . 42 1.3.2.1. Dirigeants . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 1.3.2.2. Managers et responsables opérationnels . . . . . . . . . 43 1.3.2.3. Collaborateurs opérationnels . . . . . . . . . . . . . . . . 44 1.3.2.4. Responsables informatiques . . . . . . . . . . . . . . . . . 45

Chapitre 2. Les enjeux du big data47. . . . . . . . . . . . . . . . . . . . . . . 2.1. Quand les données créent de la valeur . . . . . . . . . . . . . . . . . 47 2.1.1. Un nouveau levier de compétitivité. . . . . . . . . . . . . . . . 47 2.1.2. Une source de progrès scientifique et humain . . . . . . . . . 50 2.1.3. Les gains attendus du big data . . . . . . . . . . . . . . . . . . . 52 2.2. Un défi technologique majeur . . . . . . . . . . . . . . . . . . . . . . 54 2.3. Big data et qualité des données. . . . . . . . . . . . . . . . . . . . . . 56 2.3.1. Quelques exemples courants de défauts de qualité des données . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 2.3.1.1. Doublons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 2.3.1.2. Coordonnées des partenaires . . . . . . . . . . . . . . . . 57 2.3.1.3. Montants facturés . . . . . . . . . . . . . . . . . . . . . . . 57 2.3.1.4. Disponibilité des produits . . . . . . . . . . . . . . . . . . 57 2.3.1.5. Stocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 2.3.1.6. Indicateurs d’activité . . . . . . . . . . . . . . . . . . . . . 58 2.3.2. La gouvernance des données au cœur de la stratégie big data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 2.4. Big data et protection des données personnelles . . . . . . . . . . . 61 2.4.1. La législation en matière de protection des données personnelles . . . . . . . . . . . . . . . . . . . . . . . . . . 61 2.4.2. Les bonnes pratiques à adopter . . . . . . . . . . . . . . . . . . 63 2.4.2.1. La collecte des données . . . . . . . . . . . . . . . . . . . . 63 2.4.2.2. L’utilisation des données . . . . . . . . . . . . . . . . . . . 64 2.5. Prévisions de croissance du marché big data . . . . . . . . . . . . . 65

Chapitre 3. Exemples d’usage du big data. . . . . . . . . . . . . . . . . . 69 3.1. Quand le big data apporte des réponses au marketing . . . . . . . 69 3.1.1. Exploitation des données des réseaux sociaux . . . . . . . . . 69

Table des matières 7

3.1.2. Microsegmentation et géolocalisation . . . . . . . . . . . . . . 72 3.1.3. Analyse comportementale et fidélisation . . . . . . . . . . . . 73 3.1.4. Innovation participative . . . . . . . . . . . . . . . . . . . . . . . 74 3.2. Vers une gestion intelligente de l’énergie . . . . . . . . . . . . . . . 76 3.2.1. Enjeux et mutation des réseaux électriques . . . . . . . . . . . 76 3.2.2. Caractéristiques des réseaux électriques intelligents . . . . . 78 3.2.3. Un défi pour la gestion des données volumineuses . . . . . . 80 3.2.4. Les projets desmart gridsen cours 81. . . . . . . . . . . . . . . . 3.3. Des données massives pour améliorer la santé . . . . . . . . . . . . 83 3.3.1. Recherche médicale . . . . . . . . . . . . . . . . . . . . . . . . . 83 3.3.2. Santé publique et prévention . . . . . . . . . . . . . . . . . . . . 86 3.3.3. Vers une médecine personnalisée . . . . . . . . . . . . . . . . . 86 3.4. Un levier de productivité dans les services publics . . . . . . . . . 89 3.4.1. Une plus grande transparence . . . . . . . . . . . . . . . . . . . 89 3.4.2. Lutte contre la fraude . . . . . . . . . . . . . . . . . . . . . . . . 90 3.4.3. Personnalisation des services publics . . . . . . . . . . . . . . 91 3.5. Du journalisme traditionnel audata journalism (journalisme de données) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 3.5.1. La collecte des données . . . . . . . . . . . . . . . . . . . . . . . 92 3.5.2. La transformation des données en informations . . . . . . . . 93 3.5.3. La visualisation des données . . . . . . . . . . . . . . . . . . . . 94 3.5.4. Quelques spécialistes du journalisme de données . . . . . . . 95 3.6. … et tant d’autres domaines d’application . . . . . . . . . . . . . . 97

D EUXIEME PARTIE .L ES TECHNOLOGIES ET LES MÉTHODES DU BIG DATA 99. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Chapitre 4. Les technologies du big data101. . . . . . . . . . . . . . . . . . . 4.1. La problématique technique. . . . . . . . . . . . . . . . . . . . . . . . 101 4.1.1. Les limites des bases de données classiques . . . . . . . . . . 101 4.1.2. De nouvelles exigences techniques . . . . . . . . . . . . . . . . 106 4.2. Les solutions techniques du big data . . . . . . . . . . . . . . . . . . 107 4.2.1. Des solutions majoritairementopen source107. . . . . . . . . . . 4.2.2. Hadoop et son écosystème . . . . . . . . . . . . . . . . . . . . . 109 4.2.3. De nouveaux types de bases de données . . . . . . . . . . . . 113 4.2.4. Les solutions debig data analytics116. . . . . . . . . . . . . . . .

8 Enjeux et usages du big data

4.3. La rencontre du big data et ducloud computing. . . . . . . . . . . 119 4.3.1. Qu’estce que lecloud computing? . . . . . . . . . . . . . . . 119 4.3.2. Avantages et inconvénients ducloud121. . . . . . . . . . . . . . . 4.3.3. Lecloud computing. . . . . . . . . 122, facilitateur du big data . 4.4. Big data etweb122sémantique . . . . . . . . . . . . . . . . . . . . . . . . 4.4.1. Leweb122. . . . . . . . . . . . . . . . . . . . . . . . . sémantique . 4.4.2. Intérêt duweb124. . . . . . . . . . sémantique pour le big data . 4.5. Les principaux acteurs du marché . . . . . . . . . . . . . . . . . . . . 126 4.5.1. Les spécialistes big dataopen source126 . . . . . . . . . . . . . . 4.5.2. Les fournisseurs de stockage physique . . . . . . . . . . . . . 129 4.5.3. Les fournisseurs d’entrepôts de données (datawarehouses130) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5.4. Les fournisseurs de solutions analytiques . . . . . . . . . . . . 131 4.5.5. Les intégrateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

Chapitre 5. Les méthodes et techniques d’analyse du big data. . .  . 135 5.1. L’analyse des données massives . . . . . . . . . . . . . . . . . . . . . 135 5.1.1. Qu’estce que l’analyse des données ? . . . . . . . . . . . . . . 135 5.1.2. Les méthodes d’analyse de référence . . . . . . . . . . . . . . 140 5.1.2.1. Les méthodes descriptives . . . . . . . . . . . . . . . . . . 140 5.1.2.2. Les méthodes prédictives . . . . . . . . . . . . . . . . . . . 141 5.1.3. Le big data révolutionnetil les méthodes d’analyse ?. . . . 142 5.2. Principales techniques d’analyse des données massives . . . . . . 144 5.2.1.Data mining144 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.2. Apprentissage automatique (machine learning) . 147. . . . . . . 5.2.3. Analyse des réseaux sociaux . . . . . . . . . . . . . . . . . . . . 149 5.2.4. Test A/B. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 5.2.5.Crowdsourcing151. . . . . . . . . . . . . . . . . . . . . . . . . . .  . 5.2.6. Géomarketing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 5.2.7. Analyse des séries temporelles . . . . . . . . . . . . . . . . . . 154 5.3. Les techniques de visualisation. . . . . . . . . . . . . . . . . . . . . . 156 5.3.1. Objectif de la visualisation des données . . . . . . . . . . . . . 156 5.3.2. Principes de la visualisation . . . . . . . . . . . . . . . . . . . . 157 5.3.3. Quelques exemples de visualisation de données. . . . . . . . 159 5.3.3.1. Les visualisations classiques. . . . . . . . . . . . . . . . . 159 5.3.3.2. Les visualisations avancées . . . . . . . . . . . . . . . . . 160

Table des matières 9

T ROISIÈME PARTIE .C OMMENT TIRER PARTI DU BIG DATA ?. . . . . . 163

Chapitre 6. Compétences et ressources humaines. . . . . . . . . . . . . 165 6.1. Un nouveau virage pour les entreprises . . . . . . . . . . . . . . . . 165 6.1.1. Manager avec l’analytique . . . . . . . . . . . . . . . . . . . . . 165 6.1.2. De nouvelles opportunités pour les DSI . . . . . . . . . . . . . 166 6.1.3. Les différents types de compétences requises . . . . . . . . . 168 6.2. La montée en puissance desdata scientists. . . . . . . . . . . . . . 170 6.2.1. Les compétences fondamentales dudata scientist170 . . . . . . 6.2.2. Les qualités indispensables . . . . . . . . . . . . . . . . . . . . . 172 6.2.3. Comment devientondata scientist?. . . . . . . . . . . . . . . 173 6.3. Les compétences IT requises . . . . . . . . . . . . . . . . . . . . . . . 176 6.3.1. Les architectes techniques . . . . . . . . . . . . . . . . . . . . . 176 6.3.2. Les ingénieurs développement . . . . . . . . . . . . . . . . . . . 177 6.3.3. Les chefs de projet . . . . . . . . . . . . . . . . . . . . . . . . . . 177

Chapire 7. Gérer un projet big data179. . . . . . . . . . . . . . . . . . . . . . 7.1. Les caractéristiques d’un projet big data . . . . . . . . . . . . . . . . 179 7.1.1. Qu’estce qu’un projet big data ? . . . . . . . . . . . . . . . . . 179 7.1.2. Une organisation projet pluridisciplinaire. . . . . . . . . . . . 180 7.1.3. Une approche progressive et itérative . . . . . . . . . . . . . . 181 7.2. Quel retour sur investissement pour le big data ? . . . . . . . . . . 183 7.2.1. Définition du retour sur investissement . . . . . . . . . . . . . 183 7.2.2. Les limites du ROI . . . . . . . . . . . . . . . . . . . . . . . . . . 184 7.2.3. Le ROI des projets big data. . . . . . . . . . . . . . . . . . . . . 185 7.3. Les étapes d’un projet big data . . . . . . . . . . . . . . . . . . . . . . 186 7.3.1. La phase préparatoire . . . . . . . . . . . . . . . . . . . . . . . . 186 7.3.2. Analyse et réalisation . . . . . . . . . . . . . . . . . . . . . . . . 188 7.3.3. Mise en œuvre et exploitation . . . . . . . . . . . . . . . . . . . 189 7.4. Les risques à prendre en compte . . . . . . . . . . . . . . . . . . . . . 189 7.4.1. Le degré de maturité de l’entreprise . . . . . . . . . . . . . . . 189 7.4.2. Des technologies encore jeunes . . . . . . . . . . . . . . . . . . 190 7.4.3. Comment limiter les risques ? . . . . . . . . . . . . . . . . . . . 191