Big Data / Travaux académiques
Spark / Big Data.
Traitement distribué avec PySpark : RDD, DataFrames, transformations, actions et partitions.
Problème
Comprendre le traitement distribué et les modèles de programmation Spark.
Contexte
Travaux académiques en Big Data. Aucun environnement de production à grande échelle revendiqué.
Objectif
Manipuler RDD et DataFrames, et observer les partitions et les jobs.
Dataset / Données
Jeux de données de travaux pratiques. Sources et tailles exactes à documenter.
Architecture
Données → transformations PySpark → actions → inspection dans Spark Web UI.
Méthodologie
Manipulation des transformations, actions et partitions. Étude des concepts Hadoop et MapReduce.
Ma contribution
Projet déclaré dans le parcours du candidat. Le périmètre individuel et la répartition du travail restent à confirmer.
Difficultés
Comprendre l’évaluation paresseuse et la distribution des calculs.
Limites
Preuve de fondamentaux académiques. Pas de métriques de performance ou de volume de production. Version du runtime à confirmer.
Enseignements
Fondamentaux du traitement distribué et lecture de l’exécution Spark.
Résultats du projet
Aucune métrique chiffrée vérifiée fournie. La preuve repose sur les méthodes et l’architecture documentées.