大数据集群搭建基础：Hadoop完全分布式搭建学习指南！！

Hadoop完全分布式搭建学习指南

Hadoop版本：Hadoop2.X
JDK版本：JDK1.8

一、准备工作

1. 设置主机名和IP

   在三台CentOS 7.4机器上分别设置主机名和IP：

   • node1: 192.168.14.10
   • node2: 192.168.14.20
   • node3: 192.168.14.30

   修改主机名（以node1为例）：

   hostnamectl set-hostname node1
   

   配置网络（依据具体网络环境和系统不同，配置方法可能有所不同）。

2. 配置hosts文件

   在三台机器上的/etc/hosts文件中都添加以下内容，以便机器之间能通过主机名互相访问：

   192.168.14.10 node1
   192.168.14.20 node2
   192.168.14.30 node3
   

3. 关闭防火墙和SELinux

   systemctl stop firewalld
   systemctl disable firewalld
   setenforce 0
   

4. 配置SSH免密登录

   在node1上生成SSH密钥对，并将公钥分发到其他两个节点，实现免密登录（node2和node3上也需进行类似操作，以便日后维护）。

   ssh-keygen
   ssh-copy-id node1
   ssh-copy-id node2
   ssh-copy-id node3
   

二、安装Java环境

1. 下载并解压JDK

   下载JDK压缩包到/opt，然后解压。

   cd /opt
   tar -zxvf jdk-xxx-linux-x64.tar.gz
   

2. 配置环境变量

   编辑/etc/profile，添加以下内容：

   export JAVA_HOME=/opt/jdk1.8.0_xxx
   export PATH=$PATH:$JAVA_HOME/bin
   

   使环境变量生效：

   source /etc/profile
   

三、安装Hadoop

1. 下载并解压Hadoop

   从Apache官网下载Hadoop压缩包到/opt，然后解压。

   cd /opt
   tar -zxvf hadoop-x.x.x.tar.gz
   

2. 配置Hadoop环境变量

   编辑/etc/profile，添加：

   export HADOOP_HOME=/opt/hadoop-x.x.x
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   使环境变量生效：

   source /etc/profile
   

3. 配置Hadoop

   需要配置的文件主要有hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml和slaves。

   • hadoop-env.sh：设置Java环境。

     export JAVA_HOME=/opt/jdk1.8.0_xxx
     

   • core-site.xml：配置HDFS的地址。

     <configuration>
       <property>
         <name>fs.defaultFS</name>
         <value>hdfs://node1:9000</value>
       </property>
       <</