sweetsounding的博客

我们的目标是通过Ansible实现自动化部署hadoop集群。在此之前，我们先编写一个shell脚本来配置hadoop集群的环境，包括安装软件、安装配置Ansible（一个主节点+四个工作节点）、实现节点间的免密访问、配置hdfs yarn zookeeper等角色分组，为后续自动化部署hadoop集群做准备。现在我们有5台虚拟机，已经配置好了主机名和网络。

Zookeeper可以监视HDFS系统的name node和data node，HBase也极度依赖zookeeper，因为zookeeper维护了HBase的源数据以及监控所有region server的健康状态，如果region server宕机会通知master。它也可以避免脑裂（只有一个master大脑）。啊不免，通过分布式锁实现数据的一致性，YARN资源管理也依赖zookeeper，它为YARNresource manager提供节点选举服务。他还管理进入的消息队列。

RM会根据节点资源使用情况找一个节点运行AM，然后AM将自己的任务和资源请求汇报给RM，RM就会在各个节点创建任务、分配资源，然后AM可以直接与节点上的NM通信，监督资源的完成状况，AM也会定期向RM发送心跳。Task失败后NM会将失败的任务告诉AM，AM决定如何处理失败的任务。Task失败后NM会将失败的任务告诉AM，AM决定如何处理失败的任务。RM收不到NM的心跳，会像AM报告，AM找新的节点运行失败的任务。RM收不到NM的心跳，会像AM报告，AM找新的节点运行失败的任务。client向RM提交。

HDFS不适合保存小文件。一个k和一个t数据块的元数据大小是相同的，元数据会存储在namenode，但namenode内存是有限的。Secondary namenode是namenode的热备，当active namenode出现故障时，快速切换为新的active namenode。Namenode是整个HDFS文件系统的前端，只有一个，管理数据块映射信息，配置副本策略，处理客户端的读写请求。文件被切分成数据块，分布存储，默认情况下每个块有三个副本。Datanode有多个，存储数据块，执行数据块读写。

​：设置 Java 路径、日志目录、配置文件目录等基础环境变量。

关闭虚拟机电源>右键已创建好的虚拟机>管理>克隆>下一步>下一步>创建完整克隆>修改虚拟机名称>选择存储位置>完成。要删除虚拟机，右键从磁盘删除。

然后分别在其他机子执行，最后执行完后，就能在所有机子上的~/.ssh 目录下看到保存的其他主机的公钥。现在就能在hadoop2和hadoop3无密码登录hadoop1了。现在有三台机子 hadoop1、hadoop2、hadoop3。在家目录ll -a就能看到隐藏目录.ssh 其中保存了公私钥。然后执行以下命令，将公钥发送给hadoop2和hadoop3。首先在hadoop1上执行以下命令生成公私密钥。