Hadoop集群部署

目录

准备

资源准备

实验架构

环境准备

实验步骤

（一）查看环境

1、检查防火墙是否关闭

2、检查三台虚拟机hosts文件

3、检查ssh环境

（二）部署hadoop集群

1、安装haoop

2、创建hdfs数据文件存储目录

3、修改配置文件

（三）初始化HDFS

（四）主从节点同步

1、同步/usr/local/hadoop目录文件到slave节点

2、同步/home/hadoopdir目录文件到slave节点

3、同步环境信息

（五）测试hadoop集群

启动集群

（六）验证hadoop集群

1、JPS查看Java进程

2、登录网页查看

今天我们基于开源软件搭建满足企业需求的Hadoop生态系统,构建基础的大数据分析平台

准备3台机器搭建Hadoop完全分布式集群，其中1台机器作为Master节点，另外两台机器作为Slave节点，主机名分别为Slave1和Slave2

准备

资源准备

1. 检查实验环境（防火墙、hosts配置、ssh互信）
2. 部署hadoop集群（安装hadoop、创建hdfs数据文件、修改配置文件、主从节点同步）
3. 测试hadoop集群（启动集群、验证集群）

实验架构

在目录/usr/local/下 设置主机名，ip与机器名映射关系

环境准备

1. Hadoop2.7.5
2. VMware Workstation 15.1.0 Pro for Windows
3. 虚拟机镜像

实验步骤

（一）查看环境

#关闭防火墙命令

[root@slave1 ~]# systemctl stop firewalld.service

1、检查防火墙是否关闭

[root@slave1 ~]# firewall-cmd --state

not runningh3

2、检查三台虚拟机hosts文件

[root@master ~]# cat /etc/hosts 

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1     localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.80.101   master

192.168.80.102   slave1

192.168.80.103   slave2

3、检查ssh环境

[root@master ~]# ssh slave1 date

Mon Nov 19 10:23:43 CST 2018

[root@master ~]# ssh slave2 date

Mon Nov 19 10:23:52 CST 2018

（二）部署hadoop集群

1、安装haoop

#解压安装包h3

[root@master ~]# tar zxvf  /opt/package/software/hadoop-2.7.3.tar.gz -C /usr/local 

#重命名Hadoop安装目录

[root@master ~]# mv /usr/local/hadoop-2.7.3 /usr/local/hadoop

2、创建hdfs数据文件存储目录

#删除并创建hdfs数据文件存储目录

[root@master ~]# rm -rf /home/hadoopdir

[root@master ~]# mkdir /home/hadoopdir

#创建临时文件存储目录

[root@master ~]# mkdir /home/hadoopdir/tmp

#创建namenode数据目录

[root@master ~]# mkdir -p /home/hadoopdir/dfs/name

#创建datanode数据目录

[root@master ~]# mkdir  /home/hadoopdir/dfs/data

3、修改配置文件

1）配置环境变量

#检查环境变量

[root@master ~]# vi /etc/profile