spark学习记录

1 基于Standalone 模式部署Spark集群 local 本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用 Spark 自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark 的 Standalone 模式体现了经典的 master-slave 模式。 集群规划。 1.1 上传与解压Spark压缩包 将spark安装包上传至虚拟机中的指定路径上 解压缩文件 tar -zxvf spark-3.0.0-b

Spark 系统性学习笔记系列

Apache Spark 是一个快速的，多用途的集群计算系统。它提供了 Java，Scala，Python 和 R 的高级 API，以及一个支持通用的执行图计算的优化过的引擎，它还支持一组丰富的高级工具，包括使用 SQL 处理结构化数据的 Spark SQL，用于机器学习的 MLlib，用于图计算的 GraphX，以及 Spark Streaming。Spark官网下载。

DAG Scheduler 是面向stage的高层级的调度器，DAG Scheduler 把 DAG 拆分为多个 Task，每组 Task 都是一个 Stage，解析时是以 shuffle 为边界进行反向构建的，每当遇见一个 shuffle，Spark 就会产生一个新的 Stage，接着以 TaskSet 的形式提交给底层的调度器（Task Scheduler），每个 Stage 封装成一个 TaskSet。很多复杂的 SQL 语句，在 Hive 中执行都需要一个小时以上的时间。

Spark学习笔记，基础概念。

RDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。a.存储的弹性内存与磁盘的自动切换；b.容错的弹性数据丢失可以自动恢复；c.计算的弹性计算出错重试机制；d.分片的弹性可根据需要重新分片。分布式。.........

大数据技术-Spark学习笔记

Spark基础以及WordCount实现

本文介绍了一个基于Python和Hadoop的电信客户特征可视化分析平台，该系统利用Hadoop平台处理海量电信数据，通过客户流失分析、消费行为分析、服务使用分析、客户特征分析等核心模块，帮助企业优化客户服务策略。平台采用数据仪表板实时展示关键指标，并提供新闻资讯模块支持行业动态。文章展示了系统页面设计效果，并附有核心代码片段（数据加载和分析功能）。该系统可提升电信企业的数据分析能力，通过精准预测客户流失和消费行为，辅助制定营销策略，增强市场竞争力。

如果在 Worker 上提交应用，那么Driver 就在 Worker，如果直接在自己的 PC 上提交应用，比如在 IDEA 中使用 val sc = new SparkContext("spark://node01:7077","AppName") 去连接 Master 的话，Driver 就在自己的 PC 上，但是不推荐这样的方式，因为 PC 和 Workers 可能不在一个局域网，Driver 和 Executor 之间的通信会很慢。Spark不具有存储的能力，存储是在HDFS中。

本文介绍了一个基于Spark的眼科疾病临床数据可视化分析系统，通过大数据技术提升眼科疾病的诊断、治疗和预防效率。系统整合Python、Hadoop、Vue等技术，实现患者特征分析、疾病分布统计、治疗方案评估等功能，并通过Echarts进行可视化展示。研究背景强调传统人工处理数据的局限性，而本系统通过自动化分析为医疗决策提供科学依据，具有重要的社会与科研价值。系统包含多模块功能设计，并附有页面效果图及核心代码示例（如数据清洗与性别分布分析）。参考文献涵盖医疗大数据、疾病预测模型等领域，支持系统开发

1、Client触发 SparkContext初始化向 Master注册应用3、Master调度 Worker启动 Executor4、Worker进程启动 Executor将作业分解为Stage分配Task到Executor。

本文介绍了一个基于Spark的医用耗材数据可视化分析系统。该系统针对当前医用耗材采购管理中的数据分析需求，整合Hadoop、Spark等大数据技术，结合Django+Vue框架，实现了从海量数据采集到可视化展示的全流程解决方案。系统包含价格分布分析、市场竞争格局、产品特性趋势等核心功能模块，通过Echarts图表直观展现医用耗材市场动态。项目解决了传统人工统计效率低下的问题，为医疗机构采购决策、政府监管和企业市场分析提供了数据支持，验证了大数据技术在医疗信息化中的应用价值，具有良好的推广前景。

完整源码+技术文档！基于Hadoop+Spark的鲍鱼生理特征大数据分析系统免费分享

其中stage 0包含3个task，共Shuffle Write了376.0B，stage 1包含4个task，共Shuffle Write了988.0B，而stage 2包含3个task，一共Shuffle Read了1364.0B=376.0B+988.0B。每个黑色实心圆圈代表一个RDD，但这个图稍显混乱，stage 0中parallelize操作生成的RDD应该是被stage 2中的partitionBy处理的，与stage 1中的parallelize无关，但是没有展示Stage的连接关系。

SparkContext的创建，spark实现wordCount程序的流程图，spark集群角色，分布式代码的执行分析，Python on Spark执行原理

摘要： Apache Spark是一个基于内存的分布式计算引擎，相比Hadoop MapReduce具有显著性能优势（快10-100倍）。其核心组件包括Spark Core（批处理）、Spark SQL、Spark Streaming等，支持多语言开发和一站式数据处理。Spark通过RDD抽象实现容错，采用DAG优化调度，关键机制包括Shuffle（Sort Shuffle为主）和动态内存管理。支持Standalone/YARN/K8s等部署模式，适用于批处理、实时计算、机器学习等场景。优化建议包括合理选择