centos7 安装hadoop 2.7.6

原创已于 2022-04-08 10:40:37 修改 · 2.9w 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

于 2018-10-05 18:43:42 首次发布

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍如何在CentOS 7环境下安装配置JDK 1.8，并通过一系列步骤完成Hadoop用户的创建、免密登录设置、Hadoop软件的安装与配置，最终实现Hadoop的伪分布式运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

小伙伴们，你们好，我是老寇

hadoop安装包：https://pan.baidu.com/s/1swrV9ffJnmz4S0mfkuBbIw
提取码：1111

#安装
yum install -y apt-get

#检查是否免密登录
ssh localhost

#配置ssh-keygen生成密钥，将密钥加入授权
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #加入授权
chmod 0600 ~/.ssh/authorized_keys               #授权文件夹权限

四、安装hadoop

解压（文件放在/opt）

cd /opt
tart -zxvf hadoop-2.7.6.tar.gz

移动文件夹

mv hadoop-2.7.6 /usr/local/hadoop

修改hadoop的拥有者（默认root为拥有者）

chown -R hadoop /usr/local/hadoop

查看版本信息

cd bin

./hadoop version

修改hadoop-env.sh

vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=jdk具体安装地址

单机配置standlone

cd /usr/local/hadoop　　　　#进入用户安装目录
mkdir ./input cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件 
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+' cat ./output/* # 查看运行结果

#删掉output，防止下次运行报错
rm -r ./output

五、伪分布式

修改etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <!-- value不要直接ctrl c v，要看着自己安装目录改一下啊 -->
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改etc/hadoop/hdfs-site.xml

<configuration>
    <!--官网只配了replication-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--林子雨还配了namenode和datanode的路径-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

执行NameNode格式化

cd /usr/local/hadoop

./bin/hdfs namenode -format

五、启动

./sbin/start-dfs.sh

输入地址

http://localhost:50070/dfshealth.html

大功告成

centos7 安装hadoop 2.7.6

目录

一、前提条件

二、创建hadoop用户

三、免密登录

四、安装hadoop

五、伪分布式

五、启动