解析RocketMQ的消息索引文件consumequeue

最新推荐文章于 2025-07-30 06:42:27 发布

DayDayUp丶

最新推荐文章于 2025-07-30 06:42:27 发布

阅读量4.6k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： RocketMQ 文章标签： RocketMQ consumequeue

本文链接：https://blog.csdn.net/songzehao/article/details/82924656

RocketMQ 专栏收录该内容

0 篇文章

订阅专栏

本文深入探讨了RocketMQ的消息存储机制，详细解析了CommitLog和ConsumeQueue的文件结构及工作原理。通过代码示例，展示了如何解析ConsumeQueue文件，获取消息在CommitLog中的偏移量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

CommitLog的文件结构

下图展示了CommitLog的文件结构，可以看到，包含了topic、queueId、消息体等核心信息。

同Kafka一样，消息是变长的，顺序写入。

如下图所示：

ConsumeQueue的文件结构

ConsumeQueue中并不需要存储消息的内容，而存储的是消息在CommitLog中的offset。也就是说，ConsumeQueue其实是CommitLog的一个索引文件。

如下图所示：

ConsumeQueue是定长的结构，每1条记录固定的20个字节。很显然，Consumer消费消息的时候，要读2次：先读ConsumeQueue得到offset，再读CommitLog得到消息内容。

解析代码

import java.io.DataInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;

public class TestCQ {

    public static void main(String[] args) throws IOException {
        decodeCQ(new File("D:\\consumeQueue\\0\\00000000000000000000"));
    }

    static void decodeCQ(File consumeQueue) throws IOException {
        FileInputStream fis = new FileInputStream(consumeQueue);
        DataInputStream dis = new DataInputStream(fis);

        long preTag = 0;
        long count = 1;
        while (true) {
            long offset = dis.readLong();
            int size = dis.readInt();
            long tag = dis.readLong();

            if (size == 0) {
                break;
            }
            if ((tag - preTag) != 1) {
                // System.err.printf("%d: %d %d %d\n", count++, tag, size,
                // offset);
                System.out.printf("[ERROR]%d: %d %d %d\n", count++, tag, size, offset);
            }
            preTag = tag;
            System.out.printf("%d: %d %d %d\n", count++, tag, size, offset);
        }
        fis.close();
    }
}

结果如下：