【hadoop】 hadoop 单机伪分布式安装

最新推荐文章于 2025-08-13 22:04:55 发布

a84480766

最新推荐文章于 2025-08-13 22:04:55 发布

阅读量125

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 java 开发工具

原文链接：http://www.cnblogs.com/lonelywolfmoutain/p/6819443.html

本文提供了一步一步的指导，教你如何在CentOS6.9上安装JDK1.8并配置环境变量，接着下载并安装Hadoop2.8.0，包括详细的配置文件说明，如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-env.sh和yarn-site.xml。最后，文章还介绍了如何启动和停止Hadoop，以及如何验证安装是否成功。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

准备：

虚拟机(CentOS 6.9)

JDK1.8

hadoop2.8.0

一.JDK安装及配置

rpm -ivh jdkxxxx 安装

配置环境变量

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_121

export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile 使其立即生效

java -version 验证

二. hadoop 下载安装

官网下载：http://hadoop.apache.org/releases.html ，下载 2.8.0 版本。

解压缩到 /opt/hadoop/下

此处用root 用户来操作hadoop(推荐用新添加用户来操作).

开始配置hadoop

1. hadoop-env.sh

配置java

2. core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoop/data</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://hadoop02:9000</value>

</property>
</configuration>

3. hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

 <property>
     <name>dfs.namenode.name.dir</name>
      <value>file:/opt/hadoop/hadoop/dfs/name</value>
</property>
<property>
   <name>dfs.datanode.data.dir</name>
    <value>file:/opt/hadoop/hadoop/dfs/data</value>
</property>
</configuration>

4.mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

5.yarn-env.sh

修改java

6. yarn-site.xml

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

三.启动hadoop

执行 hdfs namenode -format

启动hadoop

start-all.sh

停止hadoop

stop-all.sh

四、验证

jps 查看

表示启动成功。

浏览器输入 http://localhost:50070 查看hdfs 状态

查看yarn 信息 http://localhost:8088

各个配置的详细信息参考官网：

转载于:https://www.cnblogs.com/lonelywolfmoutain/p/6819443.html