搭建Hadoop集群并解读日志

### Hadoop集群搭建教程 Hadoop 集群的搭建涉及多个步骤，包括环境准备、软件安装、配置文件修改以及服务启动等。以下是详细的说明： #### 1. 环境准备 在开始之前，确保每台服务器都满足以下条件： - 安装 CentOS 或其他 Linux 发行版作为操作系统。 - 关闭防火墙和服务隔离工具（如 `iptables` 和 `SELinux`），以便各节点之间可以自由通信[^3]。 #### 2. 软件下载与解压 从 Apache 官方网站或其他可信源获取最新稳定版本的 Hadoop 压缩包，并将其上传至目标主机 `/opt/module/` 目录下进行解压缩操作[^2]: ```bash tar zxvf hadoop-3.1.3.tar.gz -C /opt/module/ ``` #### 3. 修改配置文件 进入解压后的 Hadoop 文件夹路径，编辑核心配置文件来适应实际需求场景设置参数值比如副本数量等等[^1]: ##### (a). core-site.xml 定义全局属性例如默认FS URI: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://nameservice1</value> </property> </configuration> ``` ##### (b). hdfs-site.xml 指定 NameNode 地址以及其他存储细节: ```xml <configuration> <!-- HA configuration --> <property> <name>dfs.nameservices</name> <value>nameservice1</value> </property> <property> <name>dfs.ha.namenodes.nameservice1</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.nameservice1.nn1</name> <value>node1.example.com:8020</value> </property> <property> <name>dfs.namenode.rpc-address.nameservice1.nn2</name> <value>node2.example.com:8020</value> </property> <property> <name>dfs.namenode.http-address.nameservice1.nn1</name> <value>node1.example.com:9870</value> </property> <property> <name>dfs.namenode.http-address.nameservice1.nn2</name> <value>node2.example.com:9870</value> </property> <property> <name>dfs.client.failover.proxy.provider.nameservice1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration> ``` ##### (c). yarn-site.xml YARN 的主要配置项如下所示: ```xml <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>rm-host-name</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` #### 4. 初始化元数据并格式化 Namenode 执行命令完成初始化工作流程: ```bash hdfs namenode -format zkfc -formatZK ``` #### 日志解读方法 当遇到问题时可以通过分析日志找到原因。通常情况下,Hadoop 将其产生的所有记录保存于 `${HADOOP_HOME}/logs/` 下面的不同子目录中[^3]。对于每个组件都有独立的日志输出位置: - **NameNode**: 查看位于 `${HADOOP_HOME}/logs/hadoop-hadoop-namenode-nodeX.log` - **DataNode**: 对应的数据节点日志存放在 `${HADOOP_HOME}/logs/hadoop-hadoop-datanode-nodeX.log` 如果某些特定的服务未能成功启动，则应该重点检查对应 `.log` 文件而不是仅依赖 `.out` 输出结果。 ---