Spark GraphX中的pregel 函数（步骤图解）

spark 系列

Spark 核心原理及运行架构

Spark RDD详解

Spark 常用算子大全

Spark SQL 详解

Spark GraphX 图计算入门基础

Spark PageRank 算法

Spark GraphX中的pregel API

前言

在上一篇博客已经为大家介绍了Spark GraphX图计算中的PageRank 算法。本篇博客将为大家详细介绍了 Spark GraphX中常用的函数pregel实现最短路径或者最小值的实现原理和方式。

pregel API

概述

图本质上是一种递归的数据结构，其顶点的属性值依赖于其邻接顶点，而其邻接顶点属性又依赖于其邻接顶点，许多重要的图算法通过迭代计算每个顶点的属性直到到达定点条件，这些迭代的图算法被抽象成一系列图并行操作。

Pregel是Google提出的用于大规模分布式图计算框架，常用来解决一下问题：

• 图遍历（BFS）
• 单源最短路径（SSSP）
• PageRank计算（上一篇已经介绍过）

Pregel的计算由一系列迭代组成，称为supersteps。Pregel迭代过程（实现过程）如下：

• 每个顶点从上一个superstep接收入站消息
• 计算顶点新的属性值
• 在下一个superstep中向相邻的顶点发送消息
• 当没有剩余消息时，迭代结束

源码参数分析

源码

  def pregel[A: ClassTag](
      initialMsg: A,
      maxIterations: Int = Int.MaxValue,
      activeDirection: EdgeDirection = EdgeDirection.Either)(
      vprog: (VertexId, VD, A) => VD,
      sendMsg: EdgeTriplet[VD, ED] => Iterator[(VertexId, A)],
      mergeMsg: (A, A) => A)
    : Graph[VD, ED] = {
   
    Pregel(graph, initialMsg, maxIterations, activeDirection)(vprog, sendMsg, mergeMsg)
  }

相关参数

参数

关联常用GraphX 的API

案例

在理解案例之前，首先要清楚关于 顶点 的两点知识：

顶点 的状态有两种：

1. 钝化态【类似于休眠，不做任何事】
2. 激活态【干活】

顶点 能够处于激活态需要满足以下任意条件：

1. 成功收到消息
2. 成功发送了任何一条消息

案例一：求最短距离

顶点5到其他各顶点的最短距离 实现代码：

object Test{
   
  def main(args: Array[String]): Unit = {
   
    //1、创建SparkContext
    val sparkConf = new SparkConf().setAppName("GraphxHelloWorld").setMaster("local[*]")
    val sparkContext = new SparkContext(sparkConf)

    //2、创建顶点
    val vertexArray = Array(
      (1L, ("Alice"