【Spark3.0.0-体验】温习源码解析--＞体验安装测试

一、Spark3.0.0

1.1 注意事项

1.注意事项：spark对应hadoop的版本只有两种，一种2.7以上，一种3.2以上版本
2.spark3.0.0使用Scala2.12编译的
3.spark3.0.0下载地址：https://archive.apache.org/dist/spark/spark-3.0.0/

1.2 安装节点信息部署

二、Spark3.0.0-StandAlone

2.1 解压安装

tar -zxvf spark-3.0.0-bin-hadoop3.2 -C /root/apps/

cd conf 
mv spark-env.sh.template  spark-env.sh
mv slaves.template slaves

# 1.vi spark-env.sh
export JAVA_HOME=/usr/local/jdk-1.8.1_261/
export SPARK_MASTER_HOST=hadoop1

# 2.vi slaves【主节点配置就好，也就是启动节点，子节点不配置也好】
hadoop2
hadoop3
hadoop4

# 3.scp 集群
scp -r spark-3.0.0-bin-hadoop3.2 hadoop2:$PWD
scp -r spark-3.0.0-bin-hadoop3.2 hadoop3:$PWD
scp -r spark-3.0.0-bin-hadoop3.2 hadoop4:$PWD

或者写一个脚本循环：
for i in {2..4}; do scp -r spark-3.0.0-bin-hadoop3.2/  hadoop$i:PWD; done

# 4.启动集群
sbin/start-all.sh

# 5.访问节点
hadoop1:8080

2.2【可选】配置Worker的CPU核数，内存

# vi spark-env.sh
export  SPARK_WORKER_CORES=2
export  SPARK_WORKER_MEMORY=3g

三、Spark3.0.0-HA【非重点】

3.1 借助zookeeper

# 1.启动zookeeper
bin/zkServer.sh  start
# 2.查看有没有spark以前的节点信息，有的话删掉
bin/zkCli.sh
ls /
# 3.删掉spark目录
rmr  /spark

3.2 【3台】修改配置文件

注释掉指定的主节点信息

# 1. vi  spark-env.sh
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop1:2181,hadoop2:2181,hadoop3:2181 -Dspark.deploy.zookeeper.dir=/spark"

# 2.主节点启动 一台主节点和所有的子节点
sbin/start-all.sh

# 3. 再hadoop2启动一台Master
sbin/start-master.sh

# 4.测试，杀掉haoop1,hadoop2就会上线成为Master[Active]

四、Spark-Shell

4.1 启动spark-shell【本机】

bin/spark-shell

4.2 spark-shell【链接集群】

bin/spark-shell  --master  spark://hadoop1:7077

4.3 提交Hadoop中的文本的单词计数

scala>sc.textFile("hdfs://hadoop1:9000/data").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).saveAsTextFile("hdfs://hadoop1:9000/out-16")