Spark之广播变量的简单使用

最新推荐文章于 2022-01-22 14:07:33 发布

原创最新推荐文章于 2022-01-22 14:07:33 发布 · 280 阅读

1 ·

CC 4.0 BY-SA版权

Spark 专栏收录该内容

28 篇文章

订阅专栏

本文展示如何使用Spark中的广播变量来优化两个RDD的Join操作，通过实例代码详细解释了广播变量的创建与使用，以及如何进行有效的数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求：做两个RDD的join操作，用广播变量实现。

object broadcastApp{
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    val sc = new SparkContext(conf)

    val rdd1 = sc.parallelize(Array(("10","AA"),("11","BB"))).collectAsMap()
    val rdd2 = sc.parallelize(Array(("10","十"),("11","十一"),("12","十二")))

    val rdd1_bc = sc.broadcast(rdd1)   //将rdd1广播到每台Work Node

    rdd2.map(x=>(x._1,x)).mapPartitions(x => {
      val bc_value = rdd1_bc.value     //取出广播变量

      for((k,v)<- x if(bc_value.contains(k))) yield (k, bc_value.get(k).getOrElse(""), v._2)})
      	.collect.foreach(println)
    
    sc.stop()
  }
}

输出结果：