SparkSQL常见4种数据源详解资源-CSDN下载

12 浏览量 2021-01-19 22:51:42 上传评论收藏 89KB PDF 举报

资源推荐

资源详情

资源评论

Spark SQL常见常见4种数据源详解种数据源详解

通用通用load/write方法方法

手动指定选项手动指定选项

Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作，也可以被注册为临时表。

把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。

Spark SQL的默认数据源为Parquet格式。数据源为Parquet文件时，Spark SQL可以方便的执行所有的操作。

修改配置项spark.sql.sources.default，可修改默认数据源格式。

scala> val df = spark.read.load("hdfs://hadoop001:9000/namesAndAges.parquet")

df: org.apache.spark.sql.DataFrame = [age: bigint, name: string] scala> df.select("name").write.save("names.parquet")

当数据源格式不是parquet格式文件时，需要手动指定数据源的格式。数据源格式需要指定全名（例如：

org.apache.spark.sql.parquet），如果数据源格式为内置格式，则只需要指定简称json, parquet, jdbc, orc, libsvm, csv, text来

指定数据的格式。

可以通过SparkSession提供的read.load方法用于通用加载数据，使用write和save保存数据。

scala> val peopleDF = spark.read.format("json").load("hdfs://hadoop001:9000/people.json")

peopleDF: org.apache.spark.sql.DataFrame = [age: bigint, name: string] scala>

peopleDF.write.format("parquet").save("hdfs://hadoop001:9000/namesAndAges.parquet")

scala>

除此之外，可以直接运行SQL在文件上:

val sqlDF = spark.sql("SELECT * FROM parquet.`hdfs://hadoop001:9000/namesAndAges.parquet`")

sqlDF.show()

文件保存选项文件保存选项

可以采用SaveMode执行存储操作，SaveMode定义了对数据的处理模式。需要注意的是，这些保存模式不使用任何锁定，不

是原子操作。此外，当使用Overwrite方式执行时，在输出新数据之前原数据就已经被删除。SaveMode详细介绍如下表：

Scala/Java Any Language Meaning

SaveMode.ErrorIfExists(default) “error”(default) 如果文件存在，则报错

SaveMode.Append “append” 追加

SaveMode.Overwrite “overwrite” 覆写

SaveMode.Ignore “ignore” 数据存在，则忽略

Parquet文件文件

Parquet读写

Parquet格式经常在Hadoop生态圈中被使用，它也支持Spark SQL的全部数据类型。Spark SQL 提供了直接读取和存储

Parquet 格式文件的方法。

// Encoders for most common types are automatically provided by importing spark.implicits._

import spark.implicits._

val peopleDF = spark.read.json("examples/src/main/resources/people.json")

// DataFrames can be saved as Parquet files, maintaining the schema information

peopleDF.write.parquet("hdfs://hadoop001:9000/people.parquet")

// Read in the parquet file created above

// Parquet files are self-describing so the schema is preserved

// The result of loading a Parquet file is also a DataFrame

val parquetFileDF = spark.read.parquet("hdfs://hadoop001:9000/people.parquet")

// Parquet files can also be used to create a temporary view and then used in SQL statements

parquetFileDF.createOrReplaceTempView("parquetFile")

val namesDF = spark.sql("SELECT name FROM parquetFile WHERE age BETWEEN 13 AND 19")

namesDF.map(attributes => "Name: " + attributes(0)).show()

// +------------+

// | value|

// +------------+

// |Name: Justin|

// +------------+

解析分区信息解析分区信息

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余4页未读，立即下载

内容反馈

weixin_38562079

粉丝: 10

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip