Hadoop-2.7.1完全分布式集群搭建完整版

系统配置

使用的Linux系统:

CentOS 6.5

Hots

192.168.22.190 nn1

192.168.22.191 dn1

192.168.22.192 dn2

使用到的Hadoop为

Hadoop-2.7.1.tar.gz

系统配置 nn1,dn1,dn2都要配置

关闭防火墙

chkconfig iptables off

vim /etc/sysconfig/selinux

修改enforcing为disabled

修改ip地址

可以手动修改也可以使用命令操作

Vim   /etc/sysconfig/network-scripts/ifcfg-eth0

vim /etc/sysconfig/network

配置好网络后重启 network

service network restart

修改 hosts

vim /etc/hosts

192.168.22.130 nn1

192.168.22.131 dn1

192.168.22.132 dn2

新建hadoop用户

Useradd hadoop

Userpasswod 修改hadoop密码

Su hadoop 切换hadoop用户

配置ssh免密码登录

在nn1,dn1,dn2都要执行(登录hadoop用户执行)

刚开始 hadoop 用户根目录下没有 .ssh 这个隐藏目录,我们可以自己创建mkdir ~/.ssh

chown hadoop.hadoop -R /home/hadoop/.ssh

chmod 755 /home/hadoop/.ssh

然后执行命令 生成 ssh 密匙

ssh-keygen -t rsa

然后一路回车,如图

则会在.ssh这个隐藏的目录下生成连个文件

id_rsa(私钥)和id_rsa.pub(公钥)

我们需要将id_rsa.pub(公钥)的信息加入到authorized_keys(需要自己创建)文件里面

Cd ~/.ssh

注:执行完以后将 dn1 和 dn2 的id_rsa.pub(公钥) copy到nn1中

如

[hadoop@dn1 .ssh] scp id_rsa.pub [email protected]:~/.ssh/dn1

[hadoop@dn2 .ssh] scp id_rsa.pub [email protected]:~/.ssh/dn2

JDK配置HOME

注:直接在创建 /usr目录下会提示

hadoop is not in the sudoers file.  This incident will be reported

所以切换成 su root

修改sudoers

vim /etc/sudoers

在 root    ALL=(ALL)       ALL下面添加一条

hadoop    ALL=(ALL)       ALL

Ok

退出 root用户

Exit

使用 hadoop 用户在 /usr目录下创建 jvm文件夹存放 jdk

Sudo /usr/jvm

解压jdk,我的jdk存放在Downloads目录下

sudo tar zxvf ~/Downloads/jdk-7u67-linux-i586.tar.gz -C /usr/jvm/

设置环境变量

Vim /etc/profile

添加以后使用source /etc/profile更新profile

使用命令java提示出以下信息说明成功了

新建hadoop工作目录以及读写权限

mkdir  /home/hadoop/src (存放hadoop/Flume/hbase安装目录)