在idea上配置hadoop开发环境，使用maven配置hadoop的依赖，自动管理相关jar包

最新推荐文章于 2025-06-30 16:23:46 发布

程序员小陶

最新推荐文章于 2025-06-30 16:23:46 发布

阅读量1.8w

点赞数 13

CC 4.0 BY-SA版权

分类专栏：大数据探索大数据进击之路文章标签： maven hadoop

本文链接：https://blog.csdn.net/qq_31975963/article/details/83898346

大数据进击之路同时被 2 个专栏收录

42 篇文章

订阅专栏

大数据探索

29 篇文章

订阅专栏

本文介绍如何使用Maven管理Hadoop项目的依赖，包括不同Hadoop版本对应的JDK要求，以及Hadoop2.x.x版本所需的四个核心jar包。文中提供了mavenpom.xml配置示例，适用于Hadoop2.8.5版本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用maven可以很方便的管理我们项目的依赖，不需要手动去加载项目依赖的ja包，也方便项目的迁移，所以我选择使用 maven 来管理hadoop的开发环境的jar包。

maven官网

JDK版本的要求

Hadoop 2.7 以及之后的版本，需要JDK 7；
Hadoop 2.6 以及之前的版本，支持JDK 6；
在这里插入图片描述

最好按照官方的来，要不然可能会出现一些小的bug。。。

我配置的版本是hadoop 2.8.5 ，使用的jdk版本是 jdk8

对于Hadoop1.x.x版本，只需要引入1个jar：
hadoop-core

对于Hadoop2.x.x版本，需要引入4个jar：
hadoop-common
hadoop-hdfs
hadoop-mapreduce-client-core
hadoop-client

可以去mvn resipository 下载相关的 pom.xml 依赖、

地址：https://mvnrepository.com/

这里我整理了一份 maven pom.xml依赖部分的配置：

  <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.8.5</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.8.5</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.8.5</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.8.5</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-yarn-api -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-api</artifactId>
            <version>2.8.5</version>
        </dependency>

        <!-- jdk 使用idea 不需要配置这个-->
        <!--<dependency>-->
            <!--<groupId>jdk.tools</groupId>-->
            <!--<artifactId>jdk.tools</artifactId>-->
            <!--<version>1.8</version>-->
            <!--<scope>system</scope>-->
            <!--<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>-->
        <!--</dependency>-->
    </dependencies>