Hadoop单节点伪分布式环境搭建_单节点hadoop伪分布式搭建-CSDN博客

本文详细介绍了如何搭建Hadoop单节点伪分布式环境，包括安装JDK，配置Hadoop-2.7.3，格式化HDFS，以及后续的yarn配置和运行官方单词统计案例等步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.安装JDK

先检查centos是否安装有自带的jdk，有则需要先卸载。
rpm -qa | grep "java"

上传并解压jdk安装包
tar -zxf jdk-8u221-linux-x64.tar.gz

配置java环境变量
vi /etc/profile

在profile文件末尾新增并保存退出
export JAVA_HOME=/opt/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin

生效profile的配置
source /etc/profile

验证
java -version

2.安装Hadoop-2.7.3及基本配置HDFS

上传安装包后解压
tar -zxf hadoop-2.7.3.tar.gz

修改/hadoop-2.7.3/etc文件夹内的以下文件的JAVA_HOME路径

# hadoop-env.sh
export JAVA_HOME=/opt/jdk1.8.0_221

# mapred-env.sh
export JAVA_HOME=/opt/jdk1.8.0_221

# yarn-env.sh
export JAVA_HOME=/opt/jdk1.8.0_221


# core-site.xml配置
<configuration>
	<!-- 指定namenode所在的机器节点。hostname填写你的主机名 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hostname:8020</value>
	</property>
    <!-- 重新指定工作目录 新建文件夹: /data/tmp -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/apache_hadoop/hadoop-2.7.3/data/tmp</value>
	</property&g