hadoop2.7.0-伪分布5分钟快速搭建

最新推荐文章于 2023-03-08 11:42:59 发布

原创最新推荐文章于 2023-03-08 11:42:59 发布 · 1.2k 阅读

2 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

7 篇文章

订阅专栏

本文提供了一步一步安装和配置Hadoop2.7.0的详细教程，包括关闭防火墙、安装Hadoop和JDK、配置环境变量、修改配置文件等步骤，并介绍了如何格式化namenode及启动服务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1关闭防火墙

(防止发生ui界面无法登陆)

#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

2.安装hadoop和jdk

(可以直接运行下面代码)

#create a director hadoop
mkdir /hadoop

#tar pakage
tar -xzvf hadoop-2.7.0.tar.gz  -C /hadoop/
tar -xzvf jdk-8u65-linux-x64.tar.gz  -C /hadoop/
tar -xvf  hadoop-native-64-2.7.0.tar -C /hadoop/hadoop-2.7.0/lib/native/  

#add enviromnet variable
echo  'export JAVA_HOME=/hadoop/jdk1.8.0_65' >> /etc/profile
echo  'export HADOOP_HOME=/hadoop/hadoop-2.7.0' >> /etc/profile
echo  'export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin' >> /etc/profile
source /etc/profile

3.修改hadoop的配置文件

文件都在 /hadoop/hadoop-2.7.0/etc/hadoop

3.1修改hadoop-env.sh 文件

export JAVA_HOME=/hadoop/jdk1.8.0_65

3.2修改core-site.xml

<configuration>
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
	</property>
	<property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop/hadoop-2.7.0/tmp</value>
	</property>
</configuration>

3.3修改文件hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
     </property>
        <property>
        <name>dfs.namenode.name.dir</name>
         <value>/hadoop/hadoop-2.7.0/dfs/name</value>
    </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/hadoop/hadoop-2.7.0/dfs/data</value>
        </property>
</configuration>

3.4修改文件mapred-site.xml

重命名文件 mv mapred-site.xml.template mapred-site.xml 并编辑

<configuration>
	<!-- 指定mr运行在yarn上 -->
	<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
	</property>
</configuration>

3.5编辑文件yarn-site.xml

<configuration>
	<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>localhost</value>
	</property>
	<property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
	</property>
</configuration>

4.格式化namenode

hdfs namenode -format

5.启动namenode和yarn

#启动namenode和yarn
cd /hadoop/hadoop-2.7.0/
sbin/start-dfs.sh 
sbin/start-yarn.sh

若没有配置免登陆，请多次输入密码

6.验证hadoop

[root@jop hadoop-2.7.0]# jps
3056 DataNode
2961 NameNode
3237 SecondaryNameNode
3343 Jps

附件下载地址链接：http://pan.baidu.com/s/1o7FkPho 密码：oblr

（内附了在centos6下一键安装hadoop2.7.0的压缩包hadoop_one_install.zip）