Spark, développer des applications pour le Big Data

Introduction et motivations pour Apache Spark

• L’écosystème Spark
• Spark vs. Hadoop
• Obtenir et installer Spark
• La console Spark, et SparkContext

Travaux pratiques: 

• Mettre en place l’environnement de lab
• Démarrer l’interpréteur Scala
• Premiers pas avec Apache Spark
• Premiers pas avec la console Spark

Introduction des RDDs

• Les concepts de RDD, de cycle de vie, et de l’évaluation paresseuse.
• Travailler avec des RDDs: création et transformations (map, filter, etc.)
• Partitionnement et transformation des RDDs
• Transformations avancées (flatMap, explode, et split)

Introduction des DataFrames et DataSets

• Le concept de SparkSession
• Création et inférence de schéma
• Identification des formats supportés (dont JSON, CSV, Parquet, Text …)
• Travailler avec l’API DataFrame
• Travailler avec l’API DataSet
• Transformations via des requêtes SQL (Spark SQL)

Comparaison entre les DataSets, DataFrames et RDDs

• Travaux pratiques:
• Les bases des RDD
• Opérations sur de multiples RDDs
• Les formats de données
• Les bases de Spark SQL
• Transformation de DataFrames
• L’API typée des DataSets
• Fractionner les données

Optimisations

• Shuffling, dépendances larges et étroites, et leur impact sur la performance
• L’optimiseur de requêtes Catalyst
• L’optimiseur Spark Tungsten (format binaire, gestion du cache…)
• Le caching Spark (concept, type de cache, recommandations)
• Minimiser le shuffling pour améliorer la performance
• Utilisation de la diffusion de variables et de l’accumulateur

Recommandations globales de performances

• L’interface Spark UI
• Les transformations efficaces
• Stockage de données
• Monitoring

Avoir des connaissances de Java ou Python et des notions de calculs statistiques.

Maîtriser le framework Spark pour traiter des données hétérogènes et optimiser les calculs.

À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués.

Une attestation de formation vous sera remise.

• Alternance d’exercices, cas pratiques, QCM et de notions théoriques, projet Fil Rouge.
• Evaluations régulières et retour du formateur sur les points moins bien assimilés.
• Les supports de cours seront mis à disposition via notre la plate-forme de téléchargement AJC Classroom.
• Accès à notre plateforme à distance de Classe Virtuelle
  Mêmes possibilités et interactions avec votre formateur que lors d’une formation présentielle. En effet, votre formation se déroulera en connexion continue 7h/7 :
  • • • Echanges directs avec le formateur et l’équipe pédagogique à travers la visioconférence, les forums et chats
      • Vérification de l’avancement de votre travail et évaluation par votre formateur à l’aide d’exercices et de cas pratiques
      • Suivi pédagogique et conseils personnalisés pendant toute la formation

   

  Vous recevrez les informations de connexion par mail dès votre inscription. En cas de problème de connexion, vous pourrez joindre notre équipe à tout moment (avant ou même pendant la formation) au 0182837241 ou par mail à l’adresse hotline@ajc-formation.fr.

Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)