spark 中生成包含元组(1,“a") (2,"b”) (3,"c”)...(25,"y") (26,"z")的RDD

原创于 2019-06-25 14:05:43 发布 · 606 阅读

0 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一种在Scala中生成包含26个英文字母与数字组合的RDD的方法，通过使用序列和元组，将字母与递增的数字配对，最终转换为RDD[(Int,String)]格式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求：把26个字母与数字组合在一起，并形成RDD算子

将字母和数字放一起有很多形式

val strings = 'a' to 'z'
for (i <- 0 to 25) {
(i + 1, strings(i).toString)
}

这样就可以打印出需要的格式
但是怎么生成RDD呢，

RDD的创建方式有很多种，1,Sequence（序列） 2,读取路径中的内容

现在的情况适合使用序列转化成RDD：
将上面逻辑中生成的元组封装到一个集合中
将此集合转化成RDD

将２６个字母封装到一个Range（序列的一种）中
val strings = 'a' to 'z'

／／先声明一个可变长度的集合，用来存放数据
 val list = new mutable.ListBuffer[(Int,String)]()

 for (i <- 0 to 25) {
 ／／遍历集合并将数字与字符串结合在一起生成元组
 ／／元组封装到集合中
  list.append((i + 1, strings(i).toString))
}
／／创建出RDD[(Int,String)]
val rdd0= sc．parallelize(list)