Spark的伪分布式与完全分布式

伪分布式配置

spark-env.sh 配置

slaves 配置如下

网页查看 http://bigdata121:8080/ 结果如下

spark 的 bin 目录下 ./spark-shell -- master spark://bigdata121:7077

完全分布式配置如下

step1、修改vi slaves 里面的配置

完全分布式需要在伪分布式基础上做少量修改,把bigdata121作为master,122,123 作为worker

step2、然后把module下的spark-2.1.0拷贝到bigdata122,bigdata123即可

step3 : scp -r  spark-2.1.0  root@bigdata122 还有123机器

step4： 停止121机器的伪分布式 进入spark的sbin目录停止 [root@bigdata121 sbin]#   ./stop-all.sh

step5: 再次启动  [root@bigdata121 sbin]#   ./start-all.sh  启动结果看网页

step6: http://bigdata121:8080/ 请看如下图