Hive进阶(1)----HDFS写入数据流程(赋图助君理解)

已于 2024-04-15 10:06:43 修改
阅读量822 收藏 1
点赞数 14
CC 4.0 BY-SA版权
分类专栏： hive 文章标签： hive hdfs hadoop
于 2024-04-15 10:05:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49811843/article/details/137769749
本文详细阐述了HDFS（Hadoop分布式文件系统）的数据写入过程，包括客户端请求、NameNode通信、数据块分配、写入DataNode、三副本机制等8个步骤，并配以图形化流程展示。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

HDFS写入数据流程

1.理论流程描述

HDFS（Hadoop分布式文件系统）的数据写入流程是一个复杂但高效的过程，可以分为以下8个步骤：

1、client(客户端)发起文件上传请求；

2、通过发送RPC请求与NameNode建立通讯。NameNode进行检查其中包括：目标文件是否已存在、父目录是否存在、返回是否可以上传；

2、client请求第一个 block该传输到哪些DataNode服务器上；

3、NameNode根据配置文件中指定的备份数量及副本放置策略进行文件分配，返回可用的DataNode的地址，如：Node1，Node2，Node3；

4、 client调用read方法来进行对文档数据的读取。

5、每次从文件中读取一个packet(64k)大小的数据，临时存储在内存之中。

6、将每次读取的packet数据写入到datanode的块中(从block0开始依次往里面存储),直至写满此块。client请求3台DataNode中的一台（假如ND1），上传数据。

7、执行三副本机制，将block中数据分别向另外两台服务器进行存储备份。

8、当第一个块数据写入完成，进入第课块数据写入请求，也就是重新进行第二步操作

2.图形化流程展示

【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
欢迎来到我的博客，一起探索代码里的世界！
03-13 3472
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理，它的前身为Shark，在Spark 1.3.0版本后才成长为正式版，可以彻底摆脱之前Shark必须依赖HIVE的局面。
[Hive进阶]-- Hive 优化
欢迎来到我的博客，一起探索代码里的世界！
01-18 4075
由于Hive的执行依赖于底层的MapReduce作业，因此对Hadoop作业的优化或者对MapReduce作业的调整是提高Hive性能的基础。所以我们可以通过一系列的调优方法，来提高大幅度地Hive查询的性能。 1、启用压缩 压缩可以使磁盘上存储的数据量变小，通过降低I/O来提高查询速度。 查出所使用的Hive版本支持的压缩编码方式，下面的set命令列出可用的编解码器(CDH 5.8.x中的...
HDFS源码解析---写数据流程
ssjdoudou的博客
02-23 1422
1、写入（create）创建DFSOutputStream，启动DataStreamer线程run （主线程）2、createBlockOutputStream （client -> dn1 -> dn2 -> dn3）启动blockStream（实际用来写数据）4、new ResponseProcessor 并启动线程run5、按照packet粒度发送 packet 到datanodeb、DataStreamer run方法不断从dataQueue队列take出来发送。
HDFS写入流程
gaotz123的博客
03-07 1462
如果收到成功的ACK，ResponseProcessor线程会将确认队列ackQueue中删除对应的package，如果写入失败，会将ackQueue里的package置入 data Queue重传。3.客户端会调用输出流对象的write()方法，这个方法会通过RPC的方式调NameNode是我addBlock()方法。1.hdfs Client 客户端调用DistributedFileSystem的creat()方法，这个方法会通过RPC远程过程调用的方式，调用NameNode的creat()方法。
【Hive入门】
最新发布
weixin_40433003的博客
06-04 600
之前实习写的笔记，上传留个备份。
HDFS-剖析文件写入（写流程）
yc_hen的博客
02-10 646
写流程解析 public static void main(String[] args) throws Exception { //加载本地指定目录下的文件 InputStream is = new BufferedInputStream(new FileInputStream("D:/123/word.txt")); //获取配置文件 Configuration ...
HDFS的读写入流程
weixin_44803883的博客
06-16 1020
2. Namenode接受到客户端的请求后,会先判断该客户是否有写入的权限,没有则直接报错,有则继续判断该文件是否存在,没有则直接报错,有则返回给客户端,该文件的部分或者所有的block块的地址,这些地址都是活跃的。2. Namenode接受客户端的请求后,会先判断该客户端是否有写入的权限,如果没有直接报错,如果有权限,则会判断该文件的父目录是否存在,如果不存在,直接报错,如果存在,则告知客户端可以上传。5. 按照block的信息(编号等),将这些block块组合成一个完整文件,至此HDFS读数据完成。
HDFS的文件写入和文件读取流程
qq_57629191的博客
05-28 3166
Pipeline管道：Pipeline，即管道。这是 HDFS 在上传⽂件写数据过程时采⽤的⼀种数据传输⽅式。客户端将数据块写⼊第⼀个数据节点，第⼀个数据节点保存数据之后再将块复制到第⼆个数据节点，后者保存后将其复制到第三个数据节点。通俗描述 pipeline 的过程就是：Client——>DN1——>DN2—>DN3为什么 datanode 之间采⽤ pipeline 线性传输，⽽不是⼀次给三个 datanode 拓扑式传输呢？
[Hive 进阶]-- 7种可以提高 Hive 查询速度的方法
热门推荐
欢迎来到我的博客，一起探索代码里的世界！
07-17 2万+
如何提高Hive 的查询性能？ Apache Hive是一种强大的数据分析工具。在处理数PB的数据时，了解如何提高查询性能非常重要。以下内容是基于 HDP-2.6.4 版本汇总的，如有不足之处，望指出。 1、使用Tez引擎 Apache Tez Engine是一个可扩展的框架，用于构建高性能批处理和交互式数据处理。它由YARN在Hadoop中 调度。Tez通过提高处理速度和保持MapRedu...
elasticsearch数据到hive、es-hadoop6.3.0
王某的博客
08-06 6930
同一模块中日志输出到不同文件 elasticsearch数据到hive 思路1 思路2 安装ES-hadoop 添加jar包到hive es数据导入到hive的最基础设置 es数据导入到hive进阶之mapping设置 es数据导入到hive进阶之array 相关文章 参考 同一模块中日志输出到不同文件 需求：项目的同一个子模块下，已经配置过日志输出，现在...
Hadoop系列-10 Hive进阶实战指南：分桶表、数据导入导出、分区与压缩存储优化
yangwei2048的博客
12-08 683
Hive提高篇主要内容包括分桶表、数据导入导出和分区操作。分桶表通过对列值哈希取模实现更细粒度数据划分，提升查询和取样效率。数据导入支持多种方式：直接插入、LOAD加载、查询加载、建表时指定LOCATION等。数据导出可通过INSERT导出、Hive Shell命令和EXPORT实现。分区分为静态分区（手动指定分区值）和动态分区。分桶表创建前需设置hive.enforce.bucketing=true，并通过INSERT...SELECT将普通表数据导入分桶表。该文还提供了相关SQL操作示例和注意事项。
hadoop 读写文件流程详解
09-19
在hadoop中，有三大法宝——HDFS，MapReduce，Hbase，但是无论是MapReduce，Hbase还是hadoop中的其他组件如：Hive等他们要处理的数据还是处理完了的数据都是存储在HDFS中。可见HDFS可以说是hadoop存储的基础和核心，因此对HDFS的文件读写操作显得十分重要。
HDFS的读写流程
a2639491403的博客
04-24 1082
HDFS写流程客户端发起写请求道namenode，namenode返回可使用的资源，客户端根据资源使用情况对要写入的数据分块，逐一上传块到datanode,datanode获取上传块数据并写入磁盘，完成后报告给namenode块信息，同时也告诉客户端写入成功，客户端继续后续快的写入，在此期间namenode接受到datanode的块写入完成信息之后根据备份数直到满1    首先客户端发起写请求到n...
HDFS文件读写流程
czxylzl的博客
11-04 2114
DateNode作用 1.执行数据的读写（响应的是客户端） 2.周期性向NameNode做汇报（数据块的信息，校验和） 若datanode10分钟没有向NameNode做汇报，表示已丢失（已宕机） 心跳周期 3秒 3.执行流水线的复制（一点一点复制） ...
HDFS读写流程详细过程
m0_57697768的博客
05-29 1万+
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
HDFS的读写流程 —— Hadoop权威指南4
lucyLee的博客
04-14 3292
HDFS读写流程 初始化FileSystem，client调用FileSystem对象的open()方法，打开一个HDFS文件。实际，是获取一个DistributedFileSystem实例 DistributedFileSystem通过RPC调用NameNode，获取一批文件block的位置列表。其中，每个block的副本所在的DataNode，是按照它们与客户端的距离排序的 DistributedFileSystem向客户端返回一个FSDataInpu
HDFS 读写数据流程
程序猿进阶
06-11 8794
客户端开始往 dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以 Packet为单位，dn1收到一个 Packet就会传给 dn2，dn2传给 dn3；利用这种标记，这里给出四种距离描述，如上图所示：大家算一算每两个节点之间的距离：每一个线表示1，例如 11 到 4距离为3。对于常见情况，当复制因子为3时，HDFS的放置策略是将一个副本放在本地机架中的一个节点上，另一个放在本地机架中的另一个节点上，最后一个放在不同机架中的另一个节点上。【3】第三个副本位于不同机架，随机节点。
HDFS读写文件流程
蚂蚁窝
06-29 1088
HDFS写流程： 写的详细流程： ① 客户端向HDFS写数据，首先跟namenode通信以确认可以写文件（namenode检查目标文件是否存在，父目录是否存在），确认可以上传，返回给客户端client ② client会先对文件进行切分，默认一个block块是128M，比如说，文件有300M，就会被切分成3块，两个128M，一个44M。然后client会向namenode请求上传...
Hive存储过程HQL/SQL（二）– 在Hive存储过程中读写MySQL表
thy822的专栏
05-17 1022
关键字：Hive存储过程、PL/HQL、HQL/SQL、MySQL 通过PL/HQL可以在一个脚本中同时访问多个数据库系统。在实际业务场景中，经常会有需要将Hive和RDBMS中的数据结合分析，比如： 往RDBMS中写入Hive分析的审计信息；从RDBMS中获取一些维表的数据，和Hive表进行关联；从RDBMS中读取一些配置数据；往RDBMS中保存Hive的分析结果； 在PL/H
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值