Spark 下载、安装与配置

最新推荐文章于 2025-06-24 18:14:15 发布

梁辰兴

最新推荐文章于 2025-06-24 18:14:15 发布

阅读量1.5w

点赞数 16

CC 4.0 BY-SA版权

分类专栏：软件安装大数据处理文章标签： spark 大数据下载安装配置

本文链接：https://blog.csdn.net/m0_62617719/article/details/129829121

软件安装同时被 2 个专栏收录

36 篇文章

订阅专栏

大数据处理

26 篇文章

订阅专栏

文章详细介绍了ApacheSpark的特性，包括其作为集群计算系统、提供的编程接口及高级工具。接着，文章提供了Spark的下载步骤，从访问官网到下载特定版本。在安装部分，讲述了如何在CentOS上解压并移动文件。最后，文章详细阐述了Spark的环境配置过程，包括修改环境变量和验证配置是否成功。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark 简介

Apache Spark 是一个快速的通用集群计算系统。它提供了Java， Scala， Python ，R 四种编程语言的 API 编程接口和基于 DAG 图执行的优化引擎。它还支持一系列丰富的高级工具：处理结构化数据的 Spark SQL，用于机器学习的 MLlib，控制图、并行图操作和计算的一组算法和工具的集合 GraphX，数据流处理 Spark Streaming。
在这里插入图片描述

一，Spark 下载

1.进入spark官网：https://spark.apache.org/
在这里插入图片描述
2.单击download标签，进入下载页
3.单击 spark-3.3.2-bin-hadoop3.tgz 进入版本下载页

4.单击链接开始下载

二，Spark 安装

1.将下载好的spark包上传到centos中
在这里插入图片描述

2.上传完成后进行解压到/opt目录中，执行命令：tar -zxvf spark-3.3.2-bin-hadoop3.tgz -C /opt

三，Spark 配置

Spark环境配置

1.执行命令：vi etc/profile
在这里插入图片描述

2.添加如下内容

# Spark 环境变量
export SPARK_HOME=/opt/spark-3.3.2
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

在这里插入图片描述

3.执行 !wq ，保存后退出
4.更新环境变量配置，执行命令：source etc/profile
5.执行命令：spark-shell，检查配置是否成功
在这里插入图片描述