【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程

【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程

1)HDFS的数据写入流程

(1)客户端发送写入请求给 namenode

(2)namenode 接收到请求,然后首先判断当前操作的用户是否具有写入的权限,如果没有直接报错,如果有权限,接着判断要写入的数据目录下是否存在这个文件,如果存在直接报错,如果不存在,此时就会给客户端返回可以写入的状态。

(3)当客户端获取可以写入的状态后,开始对文件执行切割操作,默认情况下会按照 128M 方式来切割文件。

(4)客户端拿着第一个 block 再次请求 namenode,让 namenode 为这个 blcok 分配 datanode 地址列表

(5)namenode 会根据 datanode 的块信息、以及根据机架感知原理、网络拓扑关系和副本信息来挑选出最合适的 datanode 地址,将这些地址按照由近到远的顺序放置到列表中返回客户端。

(6)客户端根据列表中第一个地址连接指定的 datanode,然后由这个 datanode 连接下一次,然后由下一个连接下一个依次类推,由此形成一个 pipeline 的管道 ,同时反向还会形成一条 ack 的校验管道。

(7)客户端开始写入,数据以数据包的形成进行传输,一个数据包为 64kb,当第一个 datanode 接收到,接着传输给下一个,依次类推;同时,每一个接收到数据后,都要在ack校验通道中进行记录

(8)第一个 datanode,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值