Spark安装和编程实践（Spark2.4.0）

系列文章目录

Ubuntu常见基本问题
Hadoop3.1.3安装（单机、伪分布）
Hadoop集群搭建
HBase2.2.2安装（单机、伪分布）
Zookeeper集群搭建
HBase集群搭建
Spark安装和编程实践（Spark2.4.0）
Spark集群搭建

前置条件

• Hadoop伪分布
• JDK

一、安装 Spark2.4.0

1. 先把压缩格式的文件spark-2.4.0-bin-without-hadoop.tgz下载到本地电脑，然后保存在“下载”中
2. 解压安装包spark-2.4.0-bin-without-hadoop.tgz至路径 /usr/local，命令如下

sudo tar -zxf ~/下载/spark-2.4.0-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-2.4.0-bin-without-hadoop/ ./spark
sudo chown -R hadoop:hadoop ./spark          # 此处的 hadoop 为你的用户名

1、配置spark-env.sh

cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim ./conf/spark-env.sh

在第一行增加

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

2、启动

cd /usr/local/spark
bin/run-example SparkPi

成功啦！！！

执行时会输出非常多的运行信息，输出结果不容易找到，可以通过 grep 命令进行过滤（命令中的 2>&1 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）:

cd /usr/local/spark
bin/run-example SparkPi 2>&1 | grep "Pi is"

成功啦！！！

二、使用 Spark Shell 编写代码

1、启动Spark Shell

cd /usr/local/spark
bin/spark-shell

成功啦！！！启动spark-shell后，会自动创建名为sc的SparkContext对象和名为spark的SparkSession对象：

2、加载text文件

spark创建sc，可以加载本地文件和HDFS文件创建RDD。这里用Spark自带的本地文件README.md文件测试。

val textFile = sc.textFile("file:///usr/local/spark/README.md")

加载HDFS文件和本地文件都是使用textFile，区别是添加前缀(hdfs://和file:///)进行标识。

3、简单RDD操作

//获取RDD文件textFile的第一行内容
textFile.first()
//获取RDD文件textFile所有项的计数
textFile.count()
//抽取含有“Spark”的行，返回一个新的RDD
val lineWithSpark = textFile.filter(line => line.contains("Spark"))
//统计新的RDD的行数
lineWithSpark.count()

可以通过组合RDD操作进行组合，可以实现简易MapReduce操作

//找出文本中每行的最多单词数
textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)

4、退出

:quit

三、独立应用程序编程

1、使用sbt对Scala独立应用程序进行编译打包

① 安装sbt

1. 先把压缩格式的文件sbt-1.3.8.tgz下载到本地电脑，然后保存在“下载”中
2. 解压安装包sbt-1.3.8.tgz至路径 /usr/local，命令如下

sudo mkdir /usr/local/sbt             　　　# 创建安装目录
cd ~/下载
sudo tar -zxvf ./sbt-1.3.8.tgz -C /usr/local
cd /usr/local/sbt
sudo chown -R hadoop /usr/local/sbt  　　 # 此处的hadoop为系统当前用户名
cp ./bin/sbt-launch.jar ./  #把bin目录下的sbt-launch.jar复制到sbt安装目录下

3. 接着在安装目录中使用下面命令创建一个Shell脚本文件，用于启动sbt：

vim /usr/local/sbt/sbt

内容为：

#!/bin/bash
SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"

4. 保存后，还需要为该Shell脚本文件增加可执行权限：

chmod u+x /usr/local/sbt/sbt

5. 使用如下命令查看sbt版本信息

cd /usr/local/sbt
./sbt sbtVersion

成功啦！！！（第一次时间可能有点长）

② Scala应用程序代码

1. 先创建结构

cd ~           # 进入用户主文件夹
mkdir ./sparkapp        # 创建应用程序根目录
mkdir -p ./sparkapp/src/main/scala     # 创建所需的文件夹结构

2. 在 ./sparkapp/src/main/scala 下建立一个名为 SimpleApp.scala 的文件（vim ./sparkapp/src/main/scala/SimpleApp.scala），添加代码如下：

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache