外部数据源External Data Source API

最新推荐文章于 2024-08-15 12:04:24 发布

原创

最新推荐文章于 2024-08-15 12:04:24 发布 · 685 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了Spark SQL的外部数据源API，旨在简化数据加载和保存过程。通过API，用户可以从JSON、Parquet、RDBMS等不同数据源加载数据，经过处理后再以特定格式保存到HDFS、S3等系统。读取数据使用`spark.read.format(format)`，支持内置和外部数据源。写入数据使用`df.write.format("format").save("path")`，例如操作Parquet文件和Hive表。注意在生产环境中调整`spark.sql.shuffle.partitions`配置。此外，文章还提到了操作MySQL表时的注意事项和如何进行跨数据源的关联操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

产生背景
1.Every Spark application starts with loading data and ends with saving data
2.Loading and saving Data is not easy
3.Parse raw data:test/json/parquet
4.Convert data format transformation
5.Datasets stored in various Formats/Ststems
对于用户来说：
方便快速从不同的数据源（json，parquet,rdbms),经过混合处理（son, join parquet),再将处理结果以特定格式（json，parquet）写回到指定的系统（HDFS，S3）上面去

所以Spark SQL 1.2 ==>外部数据源API

外部数据源的目的：
1.Developer:build libraries for various data sources
2.User:easy loading/saving DataFrames
读：spark.read.format(format)
format
build-in :json. parquet jdbc csv
packages:外部的并不是spark内置的
具体访问：https://spark-packages.orgs/
写：people.write.format(“parquet”).save(“path”)

操作Parqurt文件数据
1.spark.read.format(“parquet”).load(path)
2.df.write.format(“parquet”).save(path)

import org.apache.spark.sql.SparkSession

/**
 * Parquet文件操作
 */
object ParquetApp {

  def main(args: Ar

最低0.47元/天解锁文章

新学期VIP享超值加赠