Spark共享变量——广播变量和累加器

最新推荐文章于 2024-05-15 08:42:08 发布

原创

最新推荐文章于 2024-05-15 08:42:08 发布 · 1.7k 阅读

6 ·

CC 4.0 BY-SA版权

本文介绍了Spark中的两种共享变量——广播变量和累加器。广播变量用于提供只读变量的副本，减少数据传输，适用于在Executor端不需要修改的场景。累加器则用于执行过程中的数值累加，适用于计数或求和操作，其值在Driver端读取，Executor端更新。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

什么是共享变量

通常情况下，当向Spark操作(如map,reduce)传递一个函数时，它会在一个远程集群节点上执行，它会使用函数中所有变量的副本。这些变量被复制到所有的机器上，远程机器上并没有被更新的变量向驱动程序回传。在任务之间使用通用的，支持读写的共享变量是低效的。所以Spark提供了两种有限类型的共享变量，广播变量和累加器。

广播变量

广播变量原理图：

广播变量的运用：

val conf = new SparkConf()
conf.setMaster("local").setAppName("brocast")
val sc = new SparkContext(conf)
val list = List("hello xasxt")
val broadCast = sc.broadcast(list)
val lineRDD = sc.textFile("./words.txt")
lineRDD.filter { x => broadCast.value.contains(x) }.foreach { println}
sc.stop()

使用广播变量的注意事项：

1. 能不能将一个 RDD 使用广播变量广播出去？
不能，因为RDD是不存储数据的。可以将RDD的结果广播出去。

2. 广播变量只能在 Driver 端定义，不能在 Executor 端定义。

3. 在 Driver 端可以修改广播变量的值，在 Executor 端无法修改广播变量的值。

4.广播变量允许程序员将一个只读的变量缓存在每台机器上，而不用在任务之间传递变量。

5.广播变量可被用