HDFS读写流程--精细

一、写数据流程

1. 使用客户端Client,向Namenode发起写文件的请求
2. Namenode会检查是否已存在文件，通过检查则先将操作写入EditLog中，并返回输出流对象。（EditLog记录的是最新的hdfs客户端执行所有的写操作，若后续执行失败也不会丢失数据）
3. client客户端按照128M的块进行切分文件。
4. client将Namenode分配的可写的datanode列表和data数据发送给最近的第一个DataNode节点中（如果第一个block块数据读取完成就会关闭指向第一个block块的datanode连接，接着读取下一个block块，直到把这一批的block块数据读取完成。）
5. 每一个DataNode写完一个块时会返回确认信息
6. 写完数据，关闭输出流。

二、读数据流程

1. client客户端访问NameNode，查询元数据，获取这个文件的数据块位置列表，返回输入流。
2. 就近挑选一台DataNode服务器，请求建立输入流。
3. DataNode向输入流中写数据以packet单位来校验。
4. 关闭输入流。