Talend : intégration de données pour le Big Data

Introduction à Talend Big Data

• Concepts

Connexion au cluster Hadoop

• Créer des métadonnées de cluster dans le référentiel
• Créer des métadonnées HDFS dans le référentiel

Lecture et écriture des données dans HDFS

• Stocker un fichier dans HDFS
• Stocker des fichiers multiples dans HDFS
• Lire des données dans HDFS
• Stocker des jeux de données dispersés avec HDFS

Traitement des données Hive dans des Jobs standard

• Créer des métadonnées de connexion Hive
• Sauvegarder des données sous forme de tables Hive
• Traiter des tables Hive avec un Job standard
• Effectuer un profiling des tables Hive avec les analyses de qualité de données

Traitement des données avec MapReduce

• Traiter des données stockées dans HDFS avec Pig, en utilisant des Jobs standard
• Traiter des données dans HDFS avec des Jobs Big Data Batch
• Migrer un Job standard vers un Job Big Data Batch

Cas d’utilisation Big Data : flux de clics

• Installer un environnement de développement
• Charger des fichiers de données dans HDFS
• Enrichir des logs
• Calculer des statistiques
• Comprendre les Jobs MapReduce
• Utiliser le Studio Talend pour configurer les demandes de ressources YARN

Travaux pratiques: Réaliser une migration de tables relationnelles sur HDFS & Hive

Avoir des connaissances en Hadoop, Spark et Kafka

Utiliser Talend pour intégrer et manipuler les principaux flux de données.

À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués.

Une attestation de formation vous sera remise.

• Alternance d’exercices, cas pratiques, QCM et de notions théoriques, projet Fil Rouge.
• Evaluations régulières et retour du formateur sur les points moins bien assimilés.
• Les supports de cours seront mis à disposition via notre la plate-forme de téléchargement AJC Classroom.
• Accès à notre plateforme à distance de Classe Virtuelle
  Mêmes possibilités et interactions avec votre formateur que lors d’une formation présentielle. En effet, votre formation se déroulera en connexion continue 7h/7 :
  • • • Echanges directs avec le formateur et l’équipe pédagogique à travers la visioconférence, les forums et chats
      • Vérification de l’avancement de votre travail et évaluation par votre formateur à l’aide d’exercices et de cas pratiques
      • Suivi pédagogique et conseils personnalisés pendant toute la formation

   

  Vous recevrez les informations de connexion par mail dès votre inscription. En cas de problème de connexion, vous pourrez joindre notre équipe à tout moment (avant ou même pendant la formation) au 0182837241 ou par mail à l’adresse hotline@ajc-formation.fr.

Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)