### Centos6.8 下编译 Hadoop 2.6.4 源码 在Centos6.8系统环境中,无论是32位还是64位版本,编译Hadoop 2.6.4源码都需要一系列的准备工作与步骤。本篇文章将详细地介绍这一过程中的关键知识点。 #### 一、准备工作 **1.1 安装Java Development Kit (JDK)** 编译Hadoop首先需要安装JDK。推荐使用JDK 1.7版本,因为该版本已被验证与Hadoop 2.6.4兼容性良好。可以从Oracle官网上下载JDK 1.7,并将其解压到合适的路径下。例如,可以将JDK解压到`/usr/java/jdk1.7.0_55`路径下。 接着设置环境变量,确保系统能够识别JDK的安装位置。可以通过以下命令设置环境变量: ```bash JAVA_HOME=/usr/java/jdk1.7.0_55 JRE_HOME=/usr/java/jdk1.7.0_55/jre PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib export JAVA_HOME JRE_HOME PATH CLASSPATH ``` **1.2 安装Maven** Maven是Apache Hadoop构建过程中需要用到的工具,用于自动化构建过程。可以在Maven的官方网站(http://maven.apache.org/download.cgi)下载最新版本的Maven,本文档中使用的版本为3.2.5。 **1.3 安装Protocol Buffers (Protobuf)** Protocol Buffers是Google开发的一种数据交换格式,Hadoop使用它来定义一些数据结构。需要注意的是,Hadoop 2.6.0版本必须搭配Protobuf 2.5.0版本使用,否则会导致编译失败。Protobuf可以从官方文档提供的下载链接(https://developers.google.com/protocol-buffers/docs/downloads)获取,或者通过其他渠道寻找国内镜像进行下载。 **1.4 下载Hadoop源码** Hadoop的源码可以从Apache的官方网站获取,本文档中使用的版本为2.6.4。下载链接为:http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.6.0-src.tar.gz。 #### 二、安装必要软件 为了成功编译Hadoop源码,还需要安装一系列的依赖软件,这些软件可以通过Centos的包管理器`yum`进行安装。具体命令如下: ```bash sudo yum -y install gcc* sudo yum -y install cmake sudo yum -y install glibc-headers sudo yum -y install gcc-c++ sudo yum -y install zip-devel sudo yum -y install openssl-devel sudo yum -y install svn sudo yum -y install git sudo yum -y install ncurses-devel sudo yum -y install lzo-devel sudo yum -y install autoconf sudo yum -y install libtool sudo yum -y install automake sudo yum -y install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev sudo yum -y install openssh-server ``` #### 三、配置与安装Protobuf 完成上述步骤后,接下来配置并安装Protobuf。先进入Protobuf的解压目录,执行以下命令: ```bash ./configure make make check sudo make install ``` #### 四、编译Hadoop 最后一步是编译Hadoop源码,整个过程大约需要一个小时左右的时间。在Hadoop源码目录中执行以下命令: ```bash mvn clean package -DskipTests -Pdist,native -Dtar ``` 这条命令包含了几个关键选项: - `clean`:清理项目,删除之前的构建结果; - `package`:重新构建项目; - `-DskipTests`:跳过所有单元测试; - `-Pdist,native`:指定使用的配置文件,包括分发和本地编译配置; - `-Dtar`:表示构建的目标是生成`.tar`文件。 编译完成后,会生成32位的`hadoop-2.6.4-32.tar.gz`和64位的`hadoop-2.6.4-64.tar.gz`两个压缩包。 通过以上步骤,你就可以在Centos6.8环境下成功编译Hadoop 2.6.4源码了。











- 粉丝: 25
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


最新资源
- 大数据时代下的网络安全问题.docx
- 北京某霓虹亚克力工程合同样本.doc
- 工程质量管理暂行条例.doc
- 隔热断桥铝合金门窗制作、安装承包合同.doc
- BIM在结构设计专业上的应用-建筑设计单位用.pptx
- 安全技术交底卡--机械操作工.doc
- 函授大学设计正文计算机网络安全与防护措施分析.doc
- 第八章-高速公路立体交叉设计.ppt
- 代表性学术论文及被引用情况.docx
- 云计算应用于财务共享服务的研究.docx
- 成都市某工程土建施工标段安全文明措施增加费计取协议书.doc
- 防水工程专项施工方案(2017-12-18).pdf
- 学校内部管理岗位职责.ppt
- 消防器材设施登记台.doc
- 软件工程优秀论文模板.doc
- 中班角色游戏:梦想成真.doc


