Linux安装 spark 教程详解

最新推荐文章于 2025-03-16 18:35:28 发布

原创最新推荐文章于 2025-03-16 18:35:28 发布 · 2.4k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #分布式

本文详细介绍了 Spark 3.1.2 在 Linux 服务器上的安装与使用过程。包括准备安装包、安装 Scala、修改配置文件（workers 文件和 spark-env.sh 文件），最后进入 Spark 交互式平台并创建一个 RDD。还提供了相关安装包的网盘资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一准备安装包

可以自行去 spark 官网下载想要的版本

这里准备了 spark3.1.2的网盘资源

链接: https://pan.baidu.com/s/1Brm6XqaqYQnXQwOd8mUt7A?pwd=2bye 提取码: 2bye

下载后上传至 linux 服务器上

这里放在了 /opt/install 目录

解压至 /opt/soft 目录

tar -zxf /opt/install/spark-3.1.2-bin-hadoop3.2.tgz -C /opt/soft/

改个名

cd /opt/soft

mv spark-3.1.2-bin-hadoop3.2/ spark312

修改一下环境变量

#SPARK_HOME
export SPARK_HOME=/opt/soft/spark312
export PATH=$SPARK_HOME/bin:$PATH

二安装 scala

安装过scala的朋友可以跳过此步骤

scala 的安装比较简单，spark 的运行环境需要 scala

这里同样准备了网盘资源

链接: https://pan.baidu.com/s/1ua01OvTYjFQyG82AG1g1yg?pwd=imc6 提取码: imc6

下载后上传至 linux 服务器上

这里放在了 /opt/install 目录

解压至 /opt/soft 目录

tar -zxf /opt/install/scala-2.12.10.tgz -C /opt/soft/

解压后改个名

mv scala-2.12.10/ scala212

修改环境变量，末尾添加下面内容

#SCALA_HOME
export SCALA_HOME=/opt/soft/scala212
export PATH=$SCALA_HOME/bin:$PATH

修改后保存退出，source一下

 source /etc/profile

三修改配置文件

进入 spark312/conf 目录

将两个临时文件cp 一下

cp spark-env.sh.template spark-env.sh

cp workers.template workers

1）修改 workers 文件

vim workers

由于这里就是单机版，所以就不做修改

2）修改 spark-env.sh文件

vim spark-env.sh

添加配置，这里根据自己的各个安装包的位置来

export SCALA_HOME=/opt/soft/scala212
export JAVA_HOME=/opt/soft/jdk180
export SPARK_HOME=/opt/soft/spark312
export HADOOP_INSTALL=/opt/soft/hadoop313
export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop
export SPARK_MASTER_IP=172.25.38.169
export SPARK_DRIVER_MEMORY=2G
export SPARK_EXECUTOR_MEMORY=2G
export SPARK_LOCAL_DIRS=/opt/soft/spark312