RocketMQ 消息存储机制分析

最新推荐文章于 2024-05-04 17:27:55 发布
最新推荐文章于 2024-05-04 17:27:55 发布
阅读量3.2k 收藏 68
点赞数 83
CC 4.0 BY-SA版权
分类专栏： 深入浅出RocketMQ设计思想 文章标签： 云原生 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HNU_Csee_wjw/article/details/123987117
本文深入探讨RocketMQ的消息存储机制，包括消息生产与消费的隔离，CommitLog的混合存储，顺序读写操作，以及mmap内存映射技术的使用和PageCache在RocketMQ中的应用。通过这些机制，RocketMQ实现了高吞吐量的消息处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

🍊 Java学习：Java从入门到精通总结

🍊 深入浅出RocketMQ设计思想：深入浅出RocketMQ设计思想

🍊 绝对不一样的职场干货：大厂最佳实践经验指南


📆 最近更新：2022年8月26日

🍊 个人简介：通信工程本硕💪、Java程序员🌕。做过科研paper，发过专利，优秀的程序员不应该只是CRUD

🍊 点赞 👍 收藏 ⭐留言 📝 都是我最大的动力！

作为一个消息中间件，消息存储的效率直接影响到消息存取的效率，RocketMQ的单机吞吐量达到10w级别也和其存储设计有关，文本就对其进行一些探索。

文章目录

RocketMQ整体存储架构

了解本专栏 订阅专栏 解锁全文 超级会员免费看
RocketMQ 的消息存储机制
FireFox1997
08-04 1202
RocketMQ 的消息存储主要基于磁盘进行持久化，采用顺序写入的方式来提升写入性能。CommitLog：用于存储所有的消息内容，是消息存储的核心文件。：消息消费队列，是 CommitLog 的索引文件，记录消息在 CommitLog 中的偏移量和大小。IndexFile：消息索引文件，提供消息的快速检索功能。RocketMQ 的消息存储机制通过顺序写入、分区与文件分片、MappedFile 等技术，实现了高效的消息存储和读取。
RocketMQ学习(三)——底层存储设计
hxyascx的博客
10-24 2735
MQ消息队列的一般存储方式 当前业界几款主流的MQ消息队列采用的存储方式主要有以下三种方式： （1）分布式KV存储： 这类MQ一般会采用诸如levelDB、RocksDB和Redis来作为消息持久化的方式，由于分布式缓存的读写能力要优于DB，所以在对消息的读写能力要求都不是比较高的情况下，采用这种方式倒也不失为一种可以替代的设计方案。消息存储于分布式KV需要解决的问题在于如何保证MQ整体的可靠性？...
RocketMQ消息存储机制
Zeng_1997的博客
09-09 445
RocketMQ 06 消息存储机制 省去DB层提高性能 RocketMQ 使用文件系统持久化消息。性能要比使用DB产品要高。 M.2 NVME协议磁盘存储 文件写入速度 顺序读写：3G左右 随机读写2G 数据零拷贝技术 很多使用文件系统存储的高性能中间件都是用了零拷贝技术来发送文件数据，比如Nginx 内存映射MappedByteBuffer API MappedByteBuffer使用虚拟内存，因此分配(map)的内存大小不受JVM的-Xmx参数限制，但是也是有大小限制的。 如果当文件超出1.5G限
RocketMQ（十六）RocketMQ消息存储机制
weixiaohuai的博客
04-29 2398
目录 一、概述 二、CommitLog文件 三、ConsumerQueue消费逻辑队列 四、IndexFile索引文件 五、页缓存与内存映射 一、概述 RocketMQ中的消息存储在本地文件系统中，主要是由ConsumeQueue和CommitLog配合完成的，消息真正的物理存储文件是CommitLog，ConsumeQueue是消息的逻辑队列，类似数据库的索引文件，存储的是指向物理存储的地址。每个Topic下的每个Message Queue都有一个对应的ConsumeQueue文件。 来看
RocketMQ的消息存储机制
m0_60424152的博客
03-09 338
RocketMQ是一款分布式消息中间件，它提供了高吞吐量、高可用性和可扩展性。为了保证消息的可靠性，RocketMQ采用了同步双写和异步刷盘的机制来存储消息。
RocketMQ消息存储过程
最新发布
tousdi的博客
05-04 1029
持久化在计算机系统中具有极其重要的地位，尤其是在诸如消息队列、数据库等需要保证数据完整性和可靠性的场景中。：持久化能够保证数据在硬件故障、系统崩溃或断电等情况发生后仍能保持完整，避免数据丢失。在RocketMQ中，消息一旦被持久化到磁盘，即使Broker服务出现异常重启，也能从磁盘恢复未被消费的消息。：对于涉及多个操作的事务处理，持久化可以作为事务提交的关键步骤，只有当数据成功写入持久化存储后，事务才能被认为已成功完成。这对于分布式事务、消息队列的事务消息等功能至关重要。
从源码分析RocketMq消息的存储原理
m0_37125602的博客
03-21 635
从源码分析RocketMq消息的存储原理
RocketMQ消息存储机制详解
RocketMQ 是一款由阿里巴巴提供的分布式消息中间件，具有高并发、高可靠、高性能、低延迟等特性，广泛应用于大型分布式系统中。作为阿里巴巴的核心产品之一，RocketMQ 在支撑双十一等大型活动中展现了其强大的性能和...
.RocketMq的存储机制
qq_42042621的博客
05-06 184
重新思考传统IO方式，会注意到在读取磁盘文件后，不需要做其他处理，直接用网络发送出去的这种场景下，第二次和第三次数据的复制过程，不仅没有任何帮助，反而带来了巨大的开销。此外，还需要再提一点，零拷贝技术采用了MappedByteBuffer内存映射技术，采用这种技术有一些限制，其中有一条就是传输的文件不能超过2G，这也就是为什么RocketMq的存储消息的文件CommitLog的大小规定为1G的原因。实际上，磁盘顺序写的性能极高，在磁盘个数一定，转数一定的情况下，基本和内存速度一致。
RocketMQ的存储机制
m0_54187478的博客
03-12 467
RocketMQ的存储机制是高效且为分布式环境设计的。
RocketMQ的消息存储结构 高可用机制
qq_33348135的博客
01-31 171
CommitLog（消息内容文件）是以物理文件的形式就行存储，Consume Queue（存储offset的索引）存储消息在CommitLog中的位置信息 RocketMQ的消息存储方式：内存+磁盘存储 两种刷盘方式： 1.异步刷盘：生产者发送消息到消息服务器（Broker）,消息只是写到了内存里的pageCach中，然后就返回给生产者发送成功的信息，性能高，当消息占用一定的内存后，会触发一...
RocektMQ 消息存储机制原理
语雀同名：犬豪 yuque.com/qhao
11-16 551
RocektMQ 消息存储机制 RocketMQ 作为一款优秀的分布式消息中间件，可以为业务方提供高性能低延迟的稳定可靠的消息服务。其核心优势是可靠的消费存储、消息发送的高性能和低延迟、强大的消息堆积能力和消息处理能力。 从存储方式来看，主要有几个方面： 文件系统 分布式KV存储 关系型数据库 从效率上来讲，文件系统高于KV存储，KV存储又高于关系型数据库。因为直接操作文件系统肯定是最快的，那么业界主流的消息队列中间件，如RocketMQ 、RabbitMQ 、kafka 都是采用文件系统的方式来存储消
详解RocketMQ消息存储原理
热门推荐
听得到微笑的博客
10-15 1万+
RocketMQ存储的文件主要包括CommitLog文件、ConsumeQueue文件、Index文件。RocketMQ将所有topic的消息存储在同一个文件中，确保消息发送时按顺序写文件，尽最大的能力确保消息发送的高性能与高吞吐量。因为消息中间件一般是基于消息主题的订阅机制，所以给按照消息主题检索消息带来了极大的不便。为了提高消息消费的效率，RocketMQ引入了ConsumeQueue消息消费队列文件，每个topic包含多个消息消
RocketMQ存储机制01-存储文件组织与内存映射
徐小陌的博客
03-30 516
RocketMQ存储机制01-存储文件组织与内存映射MappedFileQueueMappedFile findMappedFileByOffset(final long offset, final boolean returnFirstOnNotFound)MappedFileinit(final String fileName, final int fileSize)int commit(fi...
RocketMQ消息存储原理
孟凡霄
12-19 258
消息存储 CommitLog 1、消息内容和元数据都会存在CommitLog日志文件中2、消息内容不是定长的3、单个文件大小默认1G   文件名长度为20位 左边补零 剩余为起始偏移量      比如第一个文件名是 00000000000000000000   起始偏移量为0   文件大小为1G=1073741824 
10 张图告诉你 RocketMQ 是怎样保存消息的
爱是与世界平行
09-27 679
首先，在 RocketMQ 集群中创建一个 Topic，叫做 MyTestTopic，配置如下图：这里解释一下图中的几个参数：writeQueueNums：客户端在发送消息时，可以向多少个队列进行发送；readQueueNums：客户端在消费消息时，可以从多少个队列进行拉取；perm：当前 Topic 读写权限，2 只允许读、4 只允许写、6 允许读写，默认是 6。RocketMQ 主要有 3 个消息相关的文件：commitlog、consumequeue 和 index。
RocketMQ系列3——消息存储
xiaodigua1024的博客
03-28 1877
数据持久化存储，当MQ收到一条消息后，需要向生产者返回一个ACK响应，并将消息存储到磁盘文件。MQ Push一条消息给消费者后，等待消费者的ACK响应，需要将消息标记为已消费。如果没有标记为消费，MQ会不断的尝试往消费者推送这条消息。MQ需要定期删除一些过期的消息，这样才能保证服务一直可用。
RocketMq消息持久化(一)——存储架构设计概述
自恃无情的博客
12-04 1705
RocketMq 索引文件，RocketMq commitLog, RocketMq consumQueue文件。 RocketMq 默认存储目录
RocketMQ消息存储
程序员劝退师的博客
01-18 926
前言 分布式队列因为有高可靠性的要求，所以数据要进行持久化存储。 消息生成者发送消息 MQ收到消息，将消息进行持久化，在存储中新增一条记录 返回ACK给生产者 MQ push 消息给对应的消费者，然后等待消费者返回ACK 如果消息消费者在指定时间内成功返回ack，那么MQ认为消息消费成功，在存储中删除消息，即执行第6步；如果MQ在指定时间内没有收到ACK，则认为消息消费失败，会尝试重新push消息,重复执行4、5、6步骤 MQ删除消息 存储介质 关系型数据库DB Apache下开源的另外一款MQ—
RocketMQ定时消息与存储机制解析
CommitLog是RocketMQ存储消息的主要文件，每个CommitLog包含一系列消息单元，这些消息单元有特定的存储结构。CommitLog类提供了多种方法，如获取最小和最大Offset，读取指定位置的消息，以及消息的恢复操作，包括...
评论 104
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小王曾是少年

如果对你有帮助，欢迎支持我

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值