Hadoop 伪分布式并做计数测试

最新推荐文章于 2024-07-21 19:55:43 发布

原创最新推荐文章于 2024-07-21 19:55:43 发布 · 277 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #分布式 #hdfs #大数据 #linux

本文档介绍了如何配置YARN(mapred-site.xml和yarn-site.xml)，启动YARN服务，并通过Hadoop自带的Wordcount示例运行MapReduce任务。首先，修改配置文件设置mapreduce.framework.name为yarn和shuffle服务。接着，启动YARN并验证通过jps和浏览器查看8088端口的ResourceManager。然后，将测试文件上传到HDFS并运行Wordcount示例。最后，检查输出结果，确认MapReduce任务成功执行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

配置 YARN(mapred-site.xml)

修改 /opt/hadoop-2.9.2/etc/hadoop 目录下的 YARN 配置文件

#   cd /opt/hadoop-2.9.2/etc/hadoop
#   mv mapred-site.xml.template mapred-site.xml     //首先复制 YARN 配置文件
#   vim mapred-site.xml

在最后修改：

<configuration>

    <property>

        <name>mapreduce.framework.name</name>
        <value>yarn</value>

    </property>

</configuration>

 #   vim yarn-site.xml

在最后修改：

<configuration>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

</configuration>

运行 YARN ，验证是否成功

#   cd /opt/hadoop-2.7.1/sbin      //进入 hadoop sbin 文件夹
#   ./start-yarn.sh                            //开启 YARN
#   jps                                              //查看开启的进程

在浏览器中输入 http://localhost:8088 查看 YARN 管理的集群状态

运行 MapReduce 示例(Wordcount)

Wordcount 是 MapReduce 的入门示例程序， Wordcount 程序的 jar 包已

经放置在 hadoop 安装目录下的/share/hadoop/mapreduce 文件夹中。

#   cd /opt/hadoop-2.9.2
#   ls –all

其中有三个 txt 文件 ，我们使用这几个文件中的某个文件作为 Wordcount 的测试文件

上传文件到 HDFS

#   hadoop fs -mkdir /input                    //在 HDFS 的根目录下新建 input  目录
#   hadoop fs -put NOTICE.txt /input     //将本地的 NOTICE.txt 文件上传到 HDFS 的 input目录下
#   hadoop fs -ls -R /                                 //查看文件是否成功上传到 HDFS 上面

运行 Wordcount 示例程序

使用 hadoop jar 命令， 后面先指定程序虽用 jar 包的路径，后面是要运行的程序的名称，

最后是输入文件和输出路径，这个命令要根据自己本机 Hadoop 的配置做相应的修改。

# hadoop jar /opt/hadoop-2.9.2/share/hadoop/mapreduce/hadoop-
mapreduce-examples-2.9.2.jar wordcount /input /output

# hadoop fs -ls -R /
# hadoop fs -cat /output/part-r-00000