算子和方法 算子也就是Operator（操作） 不同的称呼是为了区分RDD的方法和Scala集合对象的方法 Scala集合对象的方法都是在同一个节点的内存中完成的 RDD的方法可以将计算逻辑发送到Executor端（分布式节点）执行 RDD的方法 外部操作都是在Driver端执行，而方法内部的逻辑代码是在Executor端执行 执行的差异性 以foreach为例，属于不同类的foreach，其执行顺序不同： val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName
Spark RDD中的算子与Scala方法的主要区别在于执行方式和位置。算子分布在网络节点上执行，导致结果可能因执行顺序不同而乱序，但同一节点内部保持有序。这种现象源于RDD的分布式特性和分区规则，每个分区内的数据按顺序处理。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
