spark rdd dataframe dataset转换

最新推荐文章于 2025-08-23 15:54:57 发布

weiha666

最新推荐文章于 2025-08-23 15:54:57 发布

阅读量158

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/weiha666/article/details/103211662

spark 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍如何在Spark中将RDD转换为DataFrame和Dataset，包括使用自定义schema和case class进行转换的方法，以及DataFrame和Dataset之间的相互转换过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}
import org.apache.spark.sql.types.{IntegerType, StringType, StructType}

object RddToDataFrame {
  case class People(name:String,age:Int)

  def main(args: Array[String]): Unit = {

    val sparkConf = new SparkConf().setAppName("app").setMaster("local[*]")

    // 创建Spark SQL 客户端
    val spark = SparkSession.builder().config(sparkConf).getOrCreate()


    val sparkContext = spark.sparkContext

    val rdd: RDD[String] = sparkContext.textFile("file:///D:/data/people.txt")

    //缓存rdd 后续调用
    rdd.cache()
    val splitRdd = rdd.map(
      x =>{
        val lines = x.split(" ")
        Row(lines(0),lines(1).toInt)
      }
    )
    //rdd 转 dataframe 方式一 通过自定义schema
    //创建 schema
    val schema = new StructType().add("name",StringType,nullable = true).add("age",IntegerType,nullable = true)
    val dataFrame = spark.createDataFrame(splitRdd,schema)
    //rdd 转 dataframe 方式二 通过自定义样例类 case class
    import spark.implicits._  //在dataframe 和 dataSet操作中导入 避免toDF toDS报错
    val dataframe2 = rdd.map(
      x =>{
        val lines = x.split(" ")
        People(lines(0),lines(1).trim().toInt)
      }
    ).toDF
    //dataframe 转 rdd
    val rdd2 = dataframe2.rdd
    //rdd 转 dataset
    val dataset = rdd.map(
      x =>{
        val lines = x.split(" ")
        People(lines(0),lines(1).trim().toInt)
      }
    ).toDS()

    //dataset 转 rdd
    val rdd3 = dataset.rdd
    //dataframe 转 dataset
    val dataset2 = dataframe2.as[People]
    //dataset 转 dataframe
    val dataFrame3: DataFrame = dataset2.toDF()
    sparkContext.stop()
    spark.stop()
    
    
  }


}

        <!--附 Spark的依赖引入 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
        </dependency>