Spark RDD的自定义分区器-案例

（一）需求说明

对电商订单数据进行处理，订单数据包含用户 ID 和订单金额，不同地区的用户有不同的 ID 范围。我们会按照地区对订单数据进行分区，这样做能让相同地区的订单数据处于同一分区，便于后续按地区进行统计金额分析。

订单数据如下：

(500, 100.0),

(1200, 200.0),

(2500, 300.0),

(800, 150.0),

(1800, 250.0),

(2200, 350.0)

要求是

0-1000号分成一个区；

1001-2000号分成一个区；

2000-号分成一个区

（二）思路分析

为了按照地区（用户 ID 范围）对电商订单数据进行分区并汇总订单金额，我们需要经历几个关键步骤。首先，要将订单数据加载到合适的数据结构中，以便后续操作。接着，定义一个自定义分区器，根据用户 ID 范围把订单数据分到不同的分区。然后，对每个分区内的数据进行汇总操作，计算每个地区的订单总金额。

详细步骤

1. 数据加载

需要把给定的订单数据加载到 Spark 的 RDD（弹性分布式数据集）或者 DataFrame 中。在这个需求里，订单数据以键值对的形式存在，其中键是用户 ID，值是订单金额。可以使用 parallelize 方法把数据转换成 RDD。

2. 自定义分区器

由于默认的分区器无法满足按照用户 ID 范围分区的需求，所以要自定义一个分区器。这个分区器要依据用户 ID 的范围把订单数据分到不同的分区。具体来说，将用户 ID 在 0 - 1000 的订单数据分到一个分区，1001 - 2000 的分到另一个分区，2001 及以上的分到第三个分区。

3. 数据分区

使用自定义分区器对 RDD 进行分区操作，确保相同地区（用户 ID 范围相同）的订单数据处于同一分区。

4. 数据汇总

对每个分区内的订单数据进行汇总，计算每个地区的订单总金额。可以使用 reduceByKey 或者 aggregateByKey 等方法来实现汇总操作。

5. 结果输出

将汇总后的结果输出，展示每个地区的订单总金额。

（三）难点及突破

难点一：自定义分区器的实现

问题描述：需要根据特定的用户 ID 范围来定义分区规则，确保相同地区的订单数据被分配到相同的分区。这需要对 Spark 的分区机制有深入的理解，并且要正确实现自定义分区器的逻辑。

突破方法：仔细研究 Spark 的分区相关文档和示例，明确自定义分区器需要实现的方法和接口。在代码中，通过编写一个自定义的分区函数，根据用户 ID 的范围返回对应的分区编号。如在之前的示例代码中，custom_partitioner 函数根据不同的 ID 范围返回 0、1、2 三个分区编号，从而实现按照地区进行分区的目的。

难点二：自定义的分区来进行汇总

问题描述：按照自定义的分区进行划分之后，要进行金额的汇总，使用的api是mapPartitionsWithIndex 。

突破方法：mapPartitionsWithIndex这个方法需要传入一个函数，这个函数的返回值也是一个遍历器，在这个遍历器中输出处理之后的结果。

（四）功能实现

创建新的maven项目。

创建input文件夹，在input下新建记事本文件，其中内容就是前面的实例数据。

在src下创建新的scala文件，开始写功能代码。

// 1. 实现自定义分区器

// 2. 读文件，生成RDD

// 3. RDD使用自定义分区器分区

// 4. 对分区的数据进行汇总计算

// 5. 保存计算之后的结果

（五）参考代码

功能点1： 按用户的分区编号进行对原始数据进行分区。

功能点2： 对每一份数据进行金额汇总。

参考代码如下：

import org.apache.spark.{Partitioner, SparkConf, SparkContext}

// 创建一个类继承Partitioner

class OrderPartitioner extends Partitioner {

override def numPartitions: Int = 2 // 两个分区，编号就是： 0， 1

  // key - value

  override def getPartition(key: Any): Int = {

   // 如果key在2001和2003之间，就返回 0

   // 否则，返回 1

   val keyInt = key.asInstanceOf[Int]

   if (keyInt > 2000 && keyInt < 2003) {

      0

   } else {

     1

   }

  }

}

// case class

case class Order(id: Int, price: Double, category: String)

object PartitionOrder {

  def main(args: Array[String]): Unit = {

    // 创建SparkContext

    val conf = new SparkConf().setAppName("Partition").setMaster("local[*]")

    val sc = new SparkContext(conf)

    // 初始数据

    val rdd = sc.textFile("data/order.csv")

    val rdd1 = rdd.map( line => {

      val fields = line.split(",")

      (fields(0).toInt, Order(fields(0).toInt, fields(1).toDouble, fields(2)))

    })

    // 使用自定义分区器

    val rdd2 = rdd1.partitionBy(new OrderPartitioner)

    rdd2.map( x => x._2).saveAsTextFile("output18")

    val regionTotalAmount = rdd2.mapPartitions((iter) => {

      var count = 0

      var totalAmount = 0.0

      // 同时计算件数和总金额

      while (iter.hasNext) {

        val item = iter.next()

        count += 1

        val price = item._2.price

        println(price)

        totalAmount += price

      }

      Iterator(s"${count}件,$totalAmount")

    })

    // 在分区完成之后的基础上，只保留key

// val rdd3 = rdd2.map( x => x._2)

    regionTotalAmount.saveAsTextFile("output19")

  }

}