[scala-spark]12. RDD行动操作

最新推荐文章于 2025-06-11 19:45:05 发布

沈子恒

最新推荐文章于 2025-06-11 19:45:05 发布

阅读量961

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Scala/Spark

本文链接：https://blog.csdn.net/shenziheng1/article/details/101181092

first

first返回RDD中的第一个元素，不排序。

scala> var rdd1 = sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2)
scala> rdd1.first
res1: (String, String) = (A,1)

count

count返回RDD中的元素数量。

scala> var rdd1 = sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2)
scala> rdd1.count
res2: Long = 3

reduce

根据映射函数f，对RDD中的元素进行二元计算，返回计算结果

scala> var rdd1 = sc.makeRDD(1 to 10,2)
scala> rdd1.reduce(_ + _)
res3: Int = 55

collect

collect用于将一个RDD转换成数组。

scala> var rdd1 = sc.makeRDD(1 to 10,2)
scala> rdd1.collect
res4: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)

take

take用于获取RDD中从0到num-1下标的元素，不排序。

scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3))
scala> rdd1.take(1)
res5: Arra

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

沈子恒

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

[scala-spark]11. RDD控制操作

沈春旭的博客

09-23

584

Spark可以将RDD持久化到内存或者磁盘，持久化到内存可以极大的提高迭代计算以及计算模型之间的数据共享，一般情况下，执行节点60%内存用于缓存数据，剩下40%用于运行任务。Spark使用persist、cache进行操作持久化，其中cache是persist的特例。 cache():RDD[T] persist():RDD[T] persist(level:StorageLevel):RD...

Spark系列四：基本RDD----行动操作

zqzwzd的博客

03-21

705

Spark系列三：基本RDD----转化操作

参与评论您还未登录，请先登录后发表或查看评论

Spark RDD操作：交集、并集、差集与拉链详解

最新发布

2403_88666941的博客

06-11

133

函数说明：将两个RDD中的元素，以键值对的形式进行合并。其中，键值对中的Key为第一个RDD中的元素，Value为第二个RDD中的相同位置的元素。函数说明：以一个RDD元素为主，去除两个RDD中重复元素，将其他元素保留下来。函数说明：对源RDD和参数RDD求交集后返回一个新的RDD。函数说明：对源RDD和参数RDD求并集后返回一个新的RDD。交集：如果两个RDD数据类型不一致怎么办？交集：intersection。差集：subtract。

Scala——RDD创建，转换操作和行动操作

weixin_46880810的博客

10-06

1878

RDD val list = List(“i like hadoop”,“spark is fast”,“i like spark”) val rdd = sc.parallelize(list) val rdd1 = rdd.flatMap(line => line.split(" ")) val rdd2 = rdd1.map(line => (line,1)) val rdd3 = rdd2.reduceByKey((a,b) => a+b) rdd3.collect ...

scala 操作RDD的代码分析实例

10-18

该文档是本人对实时流数据分析的scala代码的详细解析，具有一定RDD了解，scala基础

RDD行动操作

little_nai的博客

12-05

1322

行动操作是第二种类型的RDD操作，它们会把最终求得的结果返回到驱动器程序中，或者写入外部存储系统中。常见的RDD行动操作： 1. reduce（）：它接收一个函数作为参数，这个函数要操作两个相同的元素类型的RDD数据并返回一个同样类型的新元素。一个简单的例子就是函数+，可以用它来对我们的RDD进行累加。使用reduce课以很方便地计算出RDD中所有元素的总和，元素个数，以及其他类型的聚合操

spark-3.3.3-bin-hadoop3.tgz

10-19

Spark的RDD（弹性分布式数据集）是其基础抽象，它提供了一种高效的、容错的数据存储和计算模型。在Spark 3.3.3中，对RDD的优化和性能提升使得大规模数据处理更加高效。其次，Spark SQL是Spark处理结构化数据的重要...

spark-3.1.3-bin-hadoop3.2.tgz

05-19

使用Spark时，你可以编写Python、Scala或Java代码来创建DataFrame、RDD，并利用Spark的并行计算能力处理大数据。总之，Apache Spark 3.1.3 是一个强大且功能丰富的大数据处理工具，尤其适用于需要高性能、实时处理...

[scala-spark]10. RDD转换操作

沈春旭的博客

09-23

2492

RDD提供了一组非常丰富的操作来操作数据，如：map,flatMap,filter等转换操作，以及SaveAsTextFile,conutByKey等行动操作。这里仅仅综述了转换操作。 map map是对RDD中的每一个元素都执行一个指定的函数来产生一个新的RDD，RDD之间的元素是一对一的关系。 val rdd1: RDD[Int] = sc.parallelize(1 to 9, 3) ...

RDD的行动操作

weixin_30364147的博客

08-30

151

1.定义：触发Job，调用runJob()方法：　　比如：collect、count 2.foreach 　　说明：将结果返回值执行器节点，而非驱动器 3.aggregate 　　def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U)...

rdd行动操作

Frank

05-11

600

1）reduce reduce(func)是对数据集的所有元素执行聚集(func)函数，该函数必须是可交换的。val rdd1 = sc.parallelize(1 to 9, 3) val rdd2 = rdd1.reduce(_ + _) rdd2: Int = 452）collect collect是将数据集中的所有元素以一个array的形式返回。rdd1.collect() res8:

RDD的行动（Action）操作

Nice的博客

09-11

2181

1. reduce(func) 通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的 scala> val rdd1 = sc.makeRDD(1 to 10,2) rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[85] at makeRDD at <console>:24 scala...

SparkRDD的行动操作

Allwordhuier的博客

09-24

293

和转化操作类似，所有简单 RDD 支持的行动操作在键值对 RDD 上也是管用的，同时它还有一些更加编辑的行动操作。 countByKey() 对每个键对应的元素分别计数。在 spark-shell 中输入如下代码：截图如下：0 l lookup() 返回给定键对应的所有值。在 spark-shell 中输入如下代码：截图如下： collectAsMap() 将结果以映射表的形式返回，方便查询。在 spark-shell 中输入如下代码：截...

RDD行动(Action)操作

TSY_1222的博客

07-13

467

直接看例题：执行sc.parallelize()操作，生成一个RDD（即rdd），rdd中包含5个元素，即1,2,3,4,5。注意：输出每个元素的值，rdd.foreach(elem=>println(elem))等价于rdd.foreach(println) ...

Spark核心编程-RDD行动操作

上海一九四三

08-11

717

一、集合标量行动操作 first: 返回RDD中第一个元素，不排序 count: 返回RDD中元素数量 reduce: 根据映射函数，对RDD进行计算 collect: 将RDD转化为数组 take(num): 获取RDD中从0到num-1下标的元素，不排序 top(num): 按照默认降序排序的或者指定规则排序返回前num个元素 takeOrdered(num): 和top类似，只...

《Spark 5》--RDD 的行动操作

yk_3215123的博客

08-06

293

行动操作：惰性求值：【RDD的特性】 ------------------------------------------------------------------------------------------------------------------- 在RDD行动操作之前，不触发计算。转换操作和创建操作、控制操作均为惰性的；只有行动操作可触发Job。 ...

scala RDD算子

墨染的博客

10-04

1489

scala RDD算子 map 当使用map时，对于List(1,2,3,4)，前面分区后会分成两个区 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object rdd_partiton_map { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().set("spark.tes

scala学习笔记-RDD操作

A3368268的博客

09-16

602

RDD操作大致分为转换操作和行动操作，由于spark的惰性机制，导致在遇到行动操作前是不会进行运算的，直到遇到行动才做才出发运算。转换操作： filter 过滤 map 转换函数 flatMap 与map类似，但是映射为0个或多个 groupByKey 返回key,iterable reduceByKey返回一个新的(K,V)形式的数据集，其中的每个值是将每个key传递...

详解 Spark RDD 的转换操作与行动操作

weixin_43958974的博客

01-07

5952

前言本期继续讲解 Spark 核心 RDD 编程部分，内容比较干货也比较长，建议大家先收藏。学习目标 RDD 的创建 RDD 的转换操作 RDD 的行动操作惰性求值 1. RDD 的创建 Spark 提供了两种创建 RDD 的方式：对一个集合进行并行化操作和利用外部数据集生成 RDD 。对一个集合进行并行化操作 Spark 创建 RDD 最简单的方式就是把已经存在的集合传给 parallelize() 方法，不过，这种方式在开发中并不常用，毕竟需要将整个的数据集先放到一个节点.

03-08

或者，更简单的方法是在调用`saveAsTextFile`之前设置`spark.hadoop.validateOutputSpecs`为`false`，但这可能不推荐，因为它会影响其他操作。或者，用户可以使用Hadoop的配置参数，在保存时传递`overwrite`选项，...