Logo AJC FORMATION

Spark, développer des applications pour le Big Data

1650€ HT

Durée/date de la formation

3 jours (21 heures)

Modalités pédagogiques

Classe à distance, Présentiel

  • Formations
  • Spark, développer des applications pour le Big Data

Introduction et motivations pour Apache Spark

  • L’écosystème Spark
  • Spark vs. Hadoop
  • Obtenir et installer Spark
  • La console Spark, et SparkContext

Travaux pratiques: 

  • Mettre en place l’environnement de lab
  • Démarrer l’interpréteur Scala
  • Premiers pas avec Apache Spark
  • Premiers pas avec la console Spark

Introduction des RDDs

  • Les concepts de RDD, de cycle de vie, et de l’évaluation paresseuse.
  • Travailler avec des RDDs: création et transformations (map, filter, etc.)
  • Partitionnement et transformation des RDDs
  • Transformations avancées (flatMap, explode, et split)

Introduction des DataFrames et DataSets

  • Le concept de SparkSession
  • Création et inférence de schéma
  • Identification des formats supportés (dont JSON, CSV, Parquet, Text …)
  • Travailler avec l’API DataFrame
  • Travailler avec l’API DataSet
  • Transformations via des requêtes SQL (Spark SQL)

Comparaison entre les DataSets, DataFrames et RDDs

  • Travaux pratiques:
  • Les bases des RDD
  • Opérations sur de multiples RDDs
  • Les formats de données
  • Les bases de Spark SQL
  • Transformation de DataFrames
  • L’API typée des DataSets
  • Fractionner les données

Optimisations

  • Shuffling, dépendances larges et étroites, et leur impact sur la performance
  • L’optimiseur de requêtes Catalyst
  • L’optimiseur Spark Tungsten (format binaire, gestion du cache…)
  • Le caching Spark (concept, type de cache, recommandations)
  • Minimiser le shuffling pour améliorer la performance
  • Utilisation de la diffusion de variables et de l’accumulateur

Recommandations globales de performances

  • L’interface Spark UI
  • Les transformations efficaces
  • Stockage de données
  • Monitoring

Avoir des connaissances de Java ou Python et des notions de calculs statistiques.

Maîtriser le framework Spark pour traiter des données hétérogènes et optimiser les calculs.

À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués.

Une attestation de formation vous sera remise.

  • Alternance d’exercices, cas pratiques, QCM et de notions théoriques, projet Fil Rouge.
  • Evaluations régulières et retour du formateur sur les points moins bien assimilés.
  • Les supports de cours seront mis à disposition via notre la plate-forme de téléchargement AJC Classroom.
  • Accès à notre plateforme à distance de Classe Virtuelle
    Mêmes possibilités et interactions avec votre formateur que lors d’une formation présentielle. En effet, votre formation se déroulera en connexion continue 7h/7 :

        • Echanges directs avec le formateur et l’équipe pédagogique à travers la visioconférence, les forums et chats
        • Vérification de l’avancement de votre travail et évaluation par votre formateur à l’aide d’exercices et de cas pratiques
        • Suivi pédagogique et conseils personnalisés pendant toute la formation

     

    Vous recevrez les informations de connexion par mail dès votre inscription. En cas de problème de connexion, vous pourrez joindre notre équipe à tout moment (avant ou même pendant la formation) au 0182837241 ou par mail à l’adresse hotline@ajc-formation.fr.

Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)

Intéressé ?
Demandez-nous le programme détaillé de ce parcours
1 Step 1
keyboard_arrow_leftPrevious
Nextkeyboard_arrow_right
FormCraft - Générateur de formulaires WordPress

 * La durée et le prix de la formation sont donnés à titre indicatif pour une inscription en inter-entreprises. Toute demande intra-entreprise fait systématiquement l’objet d’un devis

Cette formation vous intéresse ?

Cette formation vous intéresse ? Téléchargez la brochure maintenant ou contactez-nous directement

Découvrez les formations incontournables dans ce domaine disponibles en classe et à distance

Voir plus de domaines de formations

Comment financer votre formation chez AJC

Entreprises/Salariés secteur privé

Actions collectives

Certaine de nos formations font partie des Actions Collectives campusAtlas. Elles sont accessibles à toutes les salariés des entreprises adhérentes à l’OPCO Atlas

Entreprises/Salariés secteur privé

POE

La Préparation Opérationnelle à l’Emploi est le dispositif qu’il vous faut si vous ne trouvez pas assez de «talents» pour combler vos besoins de recrutement sur le marché du travail (particulièrement sur les métiers en tension et les métiers émergents).

Salariés/Demandeurs d’emploi

CPF

Tout salarié ou demandeur d’emploi bénéficie d’un Compte Personnel de Formation depuis 2015 qu’il peut mobiliser directement. Il représente un montant en euro.