Spark环境搭建-本地模式

Spark本地模式搭建

• Local（本地模式）---开箱即用
  • 准备工作：
    • JDK
    • ScalaSDK只需要在Windows安装即可
    • Spark安装包：Apache Download Mirrors
  • 原理：

• 操作：

1.上传:将安装包上传至node1

⒉解压︰将spark安装包【spark-3.0.1-bin-hadoop2.7.tgz】解压   目录:tar -zxvf spark-3.0.1-bin-hadoop2.7.tgz

3.改权限:如果有权限问题，可以修改为root，方便学习时操作，实际中使用运维分配的用户和权限即可，可以把名字进行修改为spark

查看目录结构:其中各个目录含义如下:

bin可执行脚本

conf配置文件

data示例程序使用数据

examples示例程序

jars依赖jar包

python pythonAPl

sbin集群管理命令

yarn整合yarn需要的东东

• 测试：启动spark交互式界面：cd/spark/bin/spark-shell

• 打开192.168.111.100：4040
• 执行wordcount命令

val textFile = sc