Spark伪分布式搭建与SparkYarn搭建

最新推荐文章于 2024-04-26 20:25:38 发布

原创

最新推荐文章于 2024-04-26 20:25:38 发布 · 429 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #spark

Spark伪分布式搭建教程(Standalone:Master+Slave)

分析：
1.配置好IP
2.修改好主机名
3.做好IP映射
4.关闭防火墙
5.安装好Java（请参考Linux-Java安装文档，如果已经安装可以忽略）
6.安装好Hadoop(请参考Hadoop伪分布式搭建或Hadoop完全分布式)
7.安装scala
8.配置SSH
9.配置伪分布式集群
软件提取链接:https://pan.baidu.com/s/1oxBcv6xRavVtxmBPzEWHuQ 提取码:1000

1.IP配置

在这里插入图片描述

[root@localhost ~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33
#修改
ONBOOT=yes
BOOTPROTO=static
#添加,网关以当前实际网关为主
IPADDR=192.168.15.100
NETMASK=255.255.255.0
GATEWAY=192.168.15.2
DNS1=114.114.114.114
DNS2=192.168.15.2
[root@localhost ~]#ifconfig

如果使用ifconfig命令能看到inet显示为192.168.17.100即IP配置成功。此处我使用的IP为104请以实际配置为主。
在这里插入图片描述