Hadoop集群配置。

一、在master虚拟机上配置Hadoop。

1、执行命令：cd $HADOOP_HOME/etc/hadoop，进入hadoop配置目录。

2、执行命令：vim hadoop-env.sh，添加三条环境变量配置。

3、存盘退出后，执行命令source hadoop-env.sh，让配置生效，然后来查看三个配置的三个环境变量。

 4、编辑Hadoop核心配置文件 - core-site.xml，执行命令：vim core-site.xml。

5、查看三个节点主机地址。

6、编辑HDFS配置文件 - hdfs-site.xml，执行命令：vim hdfs-site.xml 。

7、编辑MapReduce配置文件 - mapred-site.xml，执行命令：vim mapred-site.xml 。

 后三个属性如果不设置，在运行Hadoop自带示例的词频统计时，会报错：Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster。

8、编辑yarn配置文件 - yarn-site.xml，执行命令：vim yarn-site.xml。

9、编辑workers文件确定数据节点，hadoop-2.x里配置slaves文件，hadoop-3.x里配置workers文件。通过workers文件定义数据节点，根据集群规划，三个节点都要作为数据节点。执行命令：vim workers 。 

二、在slave1虚拟机上安装配置hadoop
1、将master虚拟机上的hadoop分发到slave1虚拟机，执行命令：scp -r $HADOOP_HOME root@slave1:$HADOOP_HOME。

在slave1虚拟机上查看分发的hadoop。

2、将master虚拟机上环境配置文件分发到slave1虚拟机，执行命令：scp /etc/profile root@slave1:/etc/profile。

 最后在slave1虚拟机上让环境配置生效，切换到slave1虚拟机，执行命令：source /etc/profile。

三、在slave2虚拟机上安装配置hadoop。
1、将master虚拟机上的hadoop分发到slave2虚拟机，执行命令：scp -r $HADOOP_HOME root@slave2:$HADOOP_HOME。

在slave2虚拟机上查看分发的hadoop。

2、将master虚拟机上环境配置文件分发到slave2虚拟机，执行命令：scp /etc/profile root@slave2:/etc/profile。

3、在slave2虚拟机上让环境配置生效，切换到slave2虚拟机，执行命令：source /etc/profile。

四、格式化文件系统
初次启动HDFS集群时，必须对主节点进行格式化处理，执行命令：hdfs namenode -format。

查看名称节点格式化成功的信息。

五、启动和关闭Hadoop集群。
1、主节点上启动hadoop集群。
执行start-all.sh命令，一起启动hdfs和yarn服务，也可以分开启动两种服务。
1、启动hdfs服务，执行命令：start-dfs.sh。
一个警告信息，如何去掉它，执行命令： vim log4j.properties，在末尾添加log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR。

存盘退出，停止hdfs服务，再重启hdfs服务。