- 博客(4)
- 收藏
- 关注
原创 Spark-RDD / DataFrame
1、:你可以使用方法从一个已有的 Scala 集合(如数组或列表)中创建。:你可以使用 Spark 提供的各种数据源来创建 RDD,比如文本文件、序列文件、JSON 文件、CSV 文件等。:你可以通过对已有的 RDD 进行各种转换操作来创建新的 RDD。
2024-05-13 15:57:01
1741
1
原创 Spark编程基础及Spark SQL
/ 创建 Spark 运行配置对象// 创建 Spark 上下文环境对象(连接对象)//通过内存创建RDD。
2024-05-12 17:01:22
1598
1
原创 spark
Spark是一种快速、通用、可扩展的大数据分析引擎,Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量廉价硬件之上,形成集群。Spark使用Scala语言进行实现,它是一种面向对象、函数式编程语言,能够像操作本地集合对象一样轻松地操作分布式数据集。Spark具有运行速度快、易用性好、通用性强和随处运行等特点。
2024-03-04 17:37:31
3136
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人