Spark Java, développer des applications pour le FINANCEMENT
Ce cours fait partie des actions
Big Data collectives Atlas.
Cours Pratique de 3 jours - 21h PARTICIPANTS
Chefs de projet, data scientists,
Réf : SPK - Prix 2024 : 2 280€ HT développeurs, architectes.
Le prix pour les dates de sessions 2025 pourra être révisé
PRÉREQUIS
Bonnes connaissances du langage
Java. Connaissances en Big Data.
Souvent présenté comme le successeur de Hadoop, SPARK simplifie la programmation COMPÉTENCES DU
FORMATEUR
des traitements BigData permettant l'utilisation de scala, Python ou Java . Cette formation Les experts qui animent la
apprendra aux programmeurs à traiter un flux de données en temps réel et à effectuer des formation sont des spécialistes des
traitements batch (du SQL jusqu'au Machine Learning). matières abordées. Ils ont été
validés par nos équipes
pédagogiques tant sur le plan des
connaissances métiers que sur
celui de la pédagogie, et ce pour
OBJECTIFS PÉDAGOGIQUES TRAVAUX PRATIQUES chaque cours qu’ils enseignent. Ils
À l’issue de la formation l'apprenant sera en mesure de : Mise en pratique des notions vues en ont au minimum cinq à dix années
d’expérience dans leur domaine et
cours à l'aide du langage Java.
Maîtriser les concepts fondamentaux de Spark occupent ou ont occupé des postes
à responsabilité en entreprise.
Développer des applications avec Spark
MODALITÉS D’ÉVALUATION
Streaming Le formateur évalue la progression
pédagogique du participant tout au
Mettre en œuvre un cluster Spark long de la formation au moyen de
QCM, mises en situation, travaux
Exploiter des données avec Spark SQL pratiques…
Le participant complète également
Avoir une première approche du Machine un test de positionnement en amont
et en aval pour valider les
Learning compétences acquises.
MOYENS PÉDAGOGIQUES
ET TECHNIQUES
• Les moyens pédagogiques et les
LE PROGRAMME méthodes d’enseignement utilisés
sont principalement : aides
dernière mise à jour : 11/2022 audiovisuelles, documentation et
support de cours, exercices
pratiques d’application et corrigés
des exercices pour les stages
pratiques, études de cas ou
1) Présentation d'Apache Spark présentation de cas réels pour les
séminaires de formation.
- Historique du Framework. • À l’issue de chaque stage ou
séminaire, ORSYS fournit aux
- Les différentes versions de Spark (Scala, Python et Java). participants un questionnaire
- Comparaison avec l'environnement Apache Hadoop. d’évaluation du cours qui est
ensuite analysé par nos équipes
- Les différents modules de Spark. pédagogiques.
Travaux pratiques : Installation et configuration de Spark. Exécution d'un premier exemple • Une feuille d’émargement par
demi-journée de présence est
avec le comptage de mots. fournie en fin de formation ainsi
qu’une attestation de fin de
formation si le stagiaire a bien
2) Programmer avec les Resilient Distributed Dataset (RDD) assisté à la totalité de la session.
- Présentation des RDD. MODALITÉS ET DÉLAIS
- Créer, manipuler et réutiliser des RDD. D’ACCÈS
L’inscription doit être finalisée 24
- Accumulateurs et variables broadcastées. heures avant le début de la
formation.
- Utiliser des partitions.
Travaux pratiques : Manipulation de différents Datasets à l'aide de RDD et utilisation de ACCESSIBILITÉ AUX
PERSONNES HANDICAPÉES
l'API fournie par Spark. Vous avez un besoin spécifique
d’accessibilité ? Contactez Mme
FOSSE, référente handicap, à
3) Manipuler des données structurées avec Spark SQL l’adresse suivante psh-
- SQL, DataFrames et Datasets. accueil@orsys.fr pour étudier au
mieux votre demande et sa
- Les différents types de sources de données. faisabilité.
- Interopérabilité avec les RDD.
- Performance de Spark SQL.
- JDBC/ODBC server et Spark SQL CLI.
Travaux pratiques : Manipulation de Datasets via des requêtes SQL. Connexion avec une
base externe via JDBC.
ORSYS - https://www.orsys.fr/ - info@orsys.fr - +33 (0)1 49 07 73 73 Page 1 / 2
4) Spark sur un cluster
- Les différents types d'architecture : Standalone, Apache Mesos ou Hadoop YARN.
- Configurer un cluster en mode Standalone.
- Packager une application avec ses dépendances.
- Déployer des applications avec Spark-submit.
- Dimensionner un cluster .
Travaux pratiques : Mise en place d'un cluster Spark.
5) Analyser en temps réel avec Spark Streaming
- Principe de fonctionnement.
- Présentation des Discretized Streams (DStreams).
- Les différents types de sources.
- Manipulation de l'API.
- Comparaison avec Apache Storm.
Travaux pratiques : Consommation de logs avec Spark Streaming.
6) Manipuler des graphes avec GraphX
- Présentation de GraphX.
- Les différentes opérations.
- Créer des graphes.
- Vertex and Edge RDD.
- Présentation de différents algorithmes.
Travaux pratiques : Manipulation de l'API GraphX à travers différents exemples.
7) Machine Learning avec Spark
- Introduction au Machine Learning.
- Les différentes classes d'algorithmes.
- Présentation de SparkML et MLlib.
- Implémentations des différents algorithmes dans MLlib.
Travaux pratiques : Utilisation de SparkML et MLlib.
LES DATES
CLASSE À DISTANCE PARIS LYON
2024 : 18 déc. 2024 : 18 déc. 2024 : 18 déc.
2025 : 29 janv., 09 avr., 21 juil., 2025 : 22 janv., 02 avr., 07 juil., 2025 : 29 janv., 09 avr., 21 juil.,
08 oct. 01 oct. 08 oct.
AIX-EN-PROVENCE BORDEAUX LILLE
2024 : 18 déc. 2024 : 18 déc. 2024 : 18 déc.
2025 : 29 janv., 09 avr., 21 juil., 2025 : 29 janv., 09 avr., 21 juil., 2025 : 29 janv., 09 avr., 21 juil.,
08 oct. 08 oct. 08 oct.
NANTES SOPHIA-ANTIPOLIS STRASBOURG
2024 : 18 déc. 2024 : 18 déc. 2024 : 18 déc.
2025 : 29 janv., 09 avr., 21 juil., 2025 : 29 janv., 09 avr., 21 juil., 2025 : 29 janv., 09 avr., 21 juil.,
08 oct. 08 oct. 08 oct.
TOULOUSE
2024 : 18 déc.
2025 : 29 janv., 09 avr., 21 juil.,
08 oct.
ORSYS - https://www.orsys.fr/ - info@orsys.fr - +33 (0)1 49 07 73 73 Page 2 / 2
