Big Data & Hadoop/Spark

Ce cours de semestre 5 initie les étudiants de la Licence professionnelle Génie Logiciel aux systèmes de traitement de très grandes volumétries de données. Opérateurs de téléphonie, services de Mobile Money, programmes de santé publique ou administrations fiscales produisent chaque jour des millions d’enregistrements que les bases relationnelles classiques ne suffisent plus à stocker et à analyser dans des délais utiles. Le cours part des concepts (les 5 V, les architectures Lambda et Kappa, les bases NoSQL et le théorème CAP), présente l’écosystème Hadoop (HDFS, MapReduce, YARN, Hive, HBase, Sqoop, Flume), puis se concentre sur Apache Spark, devenu le moteur de référence du traitement distribué. Il se termine par la conception de pipelines de données complets et un cas pratique sur des données de télécommunications nigériennes.

Objectifs d’apprentissage

• Comprendre les enjeux et les architectures des systèmes Big Data : les 5 V.
• Maîtriser l’écosystème Hadoop : HDFS, MapReduce, YARN — principes et configuration.
• Utiliser Apache Spark pour le traitement distribué de grandes volumétries de données.
• Concevoir des pipelines de données (data pipelines) pour l’ingestion, le traitement et la visualisation.

Prérequis

SQL & Bases de Données Relationnelles (SQL3131, GELO S3) ; Python & Data Science (PDS5141, GELO). Une aisance avec la ligne de commande Linux est recommandée.

Plan du cours

1. Leçon 1 — Fondamentaux du Big Data
2. Leçon 2 — Écosystème Hadoop
3. Leçon 3 — Apache Spark
4. Leçon 4 — Pipelines de Données et Cas Pratiques

Travaux pratiques

Le syllabus ne prévoit pas d’heures de TP encadrées (0 h) ; les 8 h de TD et les 50 h de travail personnel (TPE) s’appuient sur des exercices corrigés exécutables avec PySpark en mode local (pip install pyspark, Java 17) : WordCount Hadoop Streaming, transformations RDD, DataFrames et Spark SQL, et un pipeline complet CSV → Spark → Parquet sur des CDR (Call Detail Records) simulés d’un opérateur nigérien.

Modalités d’évaluation

Volume horaire : CM 22 h, TD 8 h, TP 0 h, TPE 50 h, soit 80 h de charge totale (CTT) ; 4 crédits. Évaluation CC + ET : contrôle continu 30 %, examen terminal 70 % ; nature mixte (écrit et pratique).

Bibliographie

• T. White, Hadoop: The Definitive Guide, O’Reilly.
• J. Damji, B. Wenig, T. Das, D. Lee (M. Zaharia et al. pour la 1^re édition), Learning Spark, O’Reilly.
• M. Kleppmann, Designing Data-Intensive Applications, O’Reilly (complément).
• Documentation officielle Apache Spark (spark.apache.org/docs) et Apache Hadoop (hadoop.apache.org).