![Exemple de transformations [la librairie standard de
Spark] :
map(func): applique une fonction à chacune des données.
filter(func): permet d'éliminer certaines données.
distinct(): supprime les doublons.
Les RDDs
distinct(): supprime les doublons.
groupByKey(): transforme des clés-valeurs (K, V) en (K, W)
où W est un object itérable. (K, U) et (K, V) seront
transformées en (K, [U, V]).
16161616
Mouna TORJMEN KHEMAKHEM](https://image.slidesharecdn.com/chapitre3-spark-180327112931/85/Chapitre-3-spark-16-320.jpg)
![Exemple d’actions [la librairie standard de Spark] :
reduce(func): applique une réduction à l'ensemble des
données.
collect(): retourne toutes les données contenues dans le RDD
sous la forme de liste.
Les RDDs
count(): retourne le nombre de données contenues dans RDD
takeOrdered(n, key_func): retourne lesnpremiers éléments du
RDD ordonnés selonkey_func.
17171717
Mouna TORJMEN KHEMAKHEM](https://image.slidesharecdn.com/chapitre3-spark-180327112931/85/Chapitre-3-spark-17-320.jpg)
Chapitre 3 spark
- 1. Big Data Mouna TORJMEN KHEMAKHEM Ecole Nationale d’Ingénieurs de Sfax (ENIS) 2017-2018
- 2. Chapitre 3 Spark 2222 Mouna TORJMEN KHEMAKHEM
- 3. Plan du chapitre Présentation et Historique Spark Vs. Hadoop Ecosysteme Spark Les RDD Fonctionnement de Spark 3333 Mouna TORJMEN KHEMAKHEM
- 4. Traitement de larges volumes de données Traitement distribué Ecrit en Scala, bindings Java et Python Historique 2009: Développé à l'université de Californie à Berkeley par Spark-Présentation AMPLab. But: accélérer le traitement des systèmes Hadoop. Juin 2013: Spark est transmis à la fondation Apache et devient l'un des projets les plus actif « Top Level project » Mai 2014: version 1.0.0 Mai 2017 :version 2.1.1. , la dernière version disponible 4 4444 Mouna TORJMEN KHEMAKHEM
- 5. Spark Vs. Hadoop Proximité avec Hadoop Même cas d’utilisation Même modèle de développement: MapReduce Intégration dans l’Ecosystème Plus simple qu’HadoopPlus simple qu’Hadoop API plus simple à prendre en main Modèle MapReduce relâché Spark Shell: traitement interactif 5555 Mouna TORJMEN KHEMAKHEM
- 6. Plus rapide qu’Hadoop 5 Novembre 2014: Spark a gagné le Daytona GraySort Contest. Objectif: trier 100 To de données le plus rapidement possible. Spark Vs. Hadoop possible. Hadoop MapReduce Spark 72 minutes 23 minutes 2100 nœuds (50400 cores) 206 nœuds (6592 cores) La puissance de Spark fut démontrée en étant 3 fois plus rapide et en utilisant approximativement 10 fois moins de machines. 6666 Mouna TORJMEN KHEMAKHEM
- 7. Modèle d’exécution Pour chaque opération Map/Reduce: 4 mouvements sur le disque (2 lectures + 2 écritures) MAP Hadoop Spark Vs. Hadoop REDUCE Problème de performance: -soit les données sont très grandes -soit besoin de faire des opérations itératives 7777 Mouna TORJMEN KHEMAKHEM
- 8. Modèle d’exécution Spark Vs. Hadoop 8888 Mouna TORJMEN KHEMAKHEM
- 9. Modèle de programmation Hadoop propose seulement 2 opérations: Map et Reduce Spark propose un modèle plus souple: map/reduce/filter/join… Spark Vs. Hadoop 9999 Mouna TORJMEN KHEMAKHEM
- 10. Ecosystème SPARK 10101010 Mouna TORJMEN KHEMAKHEM
- 11. Ecosystème SPARK Stockage 11111111 Mouna TORJMEN KHEMAKHEM
- 12. RDD: Resilient Distributed Dataset Abstraction, collection traitée en parallèle Tolérant à la panne Manipulation de tuples Clé/valeur Caractéristiques de SPARK Clé/valeur Tuples indépendants les uns des autres 12121212 Mouna TORJMEN KHEMAKHEM
- 13. RDD: Resilient Distributed Dataset: Dataset : un ensemble de données (une collection). Distributed : cet ensemble est distribué afin d’être découpée pour être traitée dans les différents nœuds. Resilient : Il est résilient, car il pourra être relu en cas de problème. Les RDDs Resilient : Il est résilient, car il pourra être relu en cas de problème. 13131313 Mouna TORJMEN KHEMAKHEM
- 14. RDD :simple à créer et peut être obtenu à partir de multiples sources : Une collection (List, Set), transformée en RDD Un fichier local ou distribué (HDFS) dont le format est configurable: texte, SequenceFile Hadoop, JSON… Les RDDs configurable: texte, SequenceFile Hadoop, JSON… Une base de données: JDBC, HBase… Un autre RDD auquel est appliqué une transformation (un filtre, un mapping…). C’est possible d’exporter le contenu d’un RDD dans un fichier, dans une base de données ou dans une collection. 14141414 Mouna TORJMEN KHEMAKHEM
- 15. Les RDD possèdent deux types de méthodes : Les transformations qui donnent en sortie un autre RDD. Les actions qui donnent en sortie... autre chose qu'un RDD. Les RDDs 15151515 Mouna TORJMEN KHEMAKHEM
- 16. Exemple de transformations [la librairie standard de Spark] : map(func): applique une fonction à chacune des données. filter(func): permet d'éliminer certaines données. distinct(): supprime les doublons. Les RDDs distinct(): supprime les doublons. groupByKey(): transforme des clés-valeurs (K, V) en (K, W) où W est un object itérable. (K, U) et (K, V) seront transformées en (K, [U, V]). 16161616 Mouna TORJMEN KHEMAKHEM
- 17. Exemple d’actions [la librairie standard de Spark] : reduce(func): applique une réduction à l'ensemble des données. collect(): retourne toutes les données contenues dans le RDD sous la forme de liste. Les RDDs count(): retourne le nombre de données contenues dans RDD takeOrdered(n, key_func): retourne lesnpremiers éléments du RDD ordonnés selonkey_func. 17171717 Mouna TORJMEN KHEMAKHEM
- 18. DAG « Directed Acyclic Graph » (graphe acyclique orienté) : les nœuds sont les RDD et les résultats. les relations entre les nœuds sont soit des transformations, soit des actions. Les RDDs Ces relations sont orientées : passage d'un RDD à un autre se fait dans un seul sens. Le graphe est dit acyclique car aucun RDD ne permet de se transformer en lui-même via une série d'actions. 18181818 Mouna TORJMEN KHEMAKHEM
- 19. Tolérance aux pannes: Si un nœud du DAG devient indisponible, il peut être régénéré à partir de ses nœuds parents. Les RDDs 19191919 Mouna TORJMEN KHEMAKHEM
- 20. Fonctionnement de Spark Un cluster Spark est composé de : un ou plusieurs workers : chaque worker instancie un executor chargé d'exécuter les différentes tâches de calcul. un driver : chargé de répartir les tâches sur lesun driver : chargé de répartir les tâches sur les différents executors. un cluster manager : chargé d'instancier les différents workers. 20202020 Mouna TORJMEN KHEMAKHEM
- 21. Fonctionnement de Spark 21212121 Mouna TORJMEN KHEMAKHEM
- 22. Différence entre worker et executer: un worker : une machine physique un executor :une application qui tourne sur cette machine Exécution de plusieurs applications Spark sur une même machine en même temps Fonctionnement de Spark machine en même temps Chaque worker a alors plusieurs executors un executor comme un thread de calcul. 22222222 Mouna TORJMEN KHEMAKHEM
- 23. Le cluster manager : responsable de l'allocation des ressources, surtout dans le cas ou plusieurs applications concurrentes sont exécutées sur le cluster Spark. Fonctionnement de Spark 23232323 Mouna TORJMEN KHEMAKHEM
- 24. • Répartition des données et distributions des taches Les données sont découpées en partitions. Chaque partition est traitée par un des executors. Le traitement d'une partition représente une tâche. Un cluster Spark ne peut traiter qu'une tâche à la fois par executor. Fonctionnement de Spark 24242424 Mouna TORJMEN KHEMAKHEM
- 25. Répartition des données et distributions des taches La taille d'une partition doit rester inférieure à la mémoire disponible pour son executor. Le nombre de partitions détermine le nombre de tâches à réaliser de manière concurrente sur le cluster. Fonctionnement de Spark Un ensemble de tâches réalisées en parallèle constitue une étape Toutes les tâches d'une étape doivent être terminées avant de passer à l'étape suivante. Un job Spark est composé d'une suite d'étapes la progression d'un job peut être mesurée grâce au nombre d'étapes réalisées. 25252525 Mouna TORJMEN KHEMAKHEM
- 26. Fonctionnement de Spark 26262626 Mouna TORJMEN KHEMAKHEM
- 27. Fonctionnement de Spark 27272727 Mouna TORJMEN KHEMAKHEM