> Formations > Technologies numériques > Intelligence Artificielle, Big Data > Big Data > Formation Flink, développer des applications pour le Big Data > Formations > Technologies numériques > Formation Flink, développer des applications pour le Big Data

Formation : Flink, développer des applications pour le Big Data

Flink, développer des applications pour le Big Data

Télécharger au format pdf Partager cette formation par e-mail 2

Télécharger au format pdf Partager cette formation par e-mail 2

Apache Flink est un framework big data récent. Il simplifie les traitements de flux gros débit temps réels comme les traitements batch sur d'énormes quantités de données (sur Hadoop HDFS, sur Amazon S3, sur MongoDB...). Ce cours vous permet d'installer Flink et de réaliser, en Java, des traitements variés de big data.


Inter
Intra
Sur mesure

Cours pratique en présentiel ou en classe à distance

Réf. FKB
Prix : 2280 € H.T.
  3j - 21h00
Pauses-café et
déjeuners offerts




Apache Flink est un framework big data récent. Il simplifie les traitements de flux gros débit temps réels comme les traitements batch sur d'énormes quantités de données (sur Hadoop HDFS, sur Amazon S3, sur MongoDB...). Ce cours vous permet d'installer Flink et de réaliser, en Java, des traitements variés de big data.

Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :
  • Maîtriser les concepts fondamentaux de Flink
  • Développer des applications à l'aide de DataSet et DataStream API
  • Traitement de données distribué avec Flink et Hadoop
  • Exploiter des données avec Table API
  • Avoir une première approche du machine learning

Public concerné
Développeurs, architectes.

Prérequis
Bonnes connaissances du langage Java.
Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en faisant  ce test.

Programme de la formation

Introduction à Apache Flink

  • Historique du framework.
  • Les différentes versions de Flink.
  • Comparaison avec l'environnement Apache Hadoop et Apache Spark.
  • Les différents modules de Flink.
Travaux pratiques
Installation et configuration de Flink. Exécution d'un premier exemple avec le comptage de mots.

Traitement de données à l'aide de l'API DataStream

  • Environnement d'exécution et sources de données.
  • Les transformations : Map, FlatMap, Filter, KeyBy, Reduce...
  • Les opérations sur des flux multiples : Union, Cogroup, Connect, Join, Iterate...
  • Les opérations sur Windows : Global, Tumbling, Sliding, Session...
  • Le partitionnement physique personnalisé, aléatoire, rééquilibrage et redimensionnement.
  • Les DataSink et les connecteurs : Kafka, X (anciennement Twitter), ElasticSerch...
Travaux pratiques
Consommation et manipulation de différents flux des données.

Traitement de données à l'aide de l'API Batch

  • Les différents types de sources de données.
  • Les transformations et agrégations.
  • L'écriture des données.
  • Les DataSink et les connecteurs : HDFS, S3, Avro, MongoDB.
Travaux pratiques
Manipulation de DataSets à partir de plusieurs sources de données.

Traitement de données à l'aide de l'API Table

  • Enregistrement et lecture des tables enregistrées.
  • Les opérateurs : sélection, filtre, jointure, orderBy...
  • Utiliser du SQL sur le flux de données.
  • Traitement des événements complexes.
Travaux pratiques
Mise en place d'une analyse avec SQL sur un flux de données.

API Flink Graph - Gelly

  • Qu'est-ce qu'un graphe ?
  • Les différentes opérations.
  • Créer des graphes.
  • Transformations de graphes.
  • Présentation de différents algorithmes.
Travaux pratiques
Manipulation de l'API travers différents exemples.

Déploiement de Flink

  • Flink sur YARN Configurations.
  • Lancement et arrêt d'un cluster.
  • Soumettre un travail à Flink.
  • Flink sur Google Cloud.
  • Flink sur AWS.
Travaux pratiques
Configurer un cluster multinœuds et déployer une application.


Modalités pratiques
Travaux pratiques
Mise en pratique des notions vues en cours à l'aide du langage Java.

Modalités d'évaluation
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…
Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

Solutions de financement
Pour trouver la meilleure solution de financement adaptée à votre situation : contactez votre conseiller formation.
Il vous aidera à choisir parmi les solutions suivantes :
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.

Horaires
En présentiel, les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45. Les pauses et déjeuners sont offerts.
En classe à distance, la formation démarre à partir de 9h.
Pour les stages pratiques de 4 ou 5 jours, quelle que soit la modalité, les sessions se terminent à 15h30 le dernier jour.

Dates et lieux
Du 23 au 25 octobre 2024
FR
Classe à distance
S’inscrire