RocketMQ | 源码分析 | 消息刷盘

最新推荐文章于 2025-08-01 00:09:39 发布

原创

最新推荐文章于 2025-08-01 00:09:39 发布 · 1.2k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#rocketmq #windows #android

一、前言

在上篇文章中，我们分析了消息是如何从 Broker 最终存储到MappedFile 内存缓冲区中的，但是此时消息存储的任务并没有完成，因为消息还没有刷盘，即存储到文件中，本篇我们就来看看RocketMQ是如何进行消息刷盘的。

带着问题阅读

如何同步刷盘的？刷盘的流程是什么
刷盘的条件是什么？

二、刷盘策略

CommitLog在初始化的时候，会根据配置，启动两种不同的刷盘服务。

if (FlushDiskType.SYNC_FLUSH == defaultMessageStore.getMessageStoreConfig().getFlushDiskType()) {
   
   
  this.flushCommitLogService = new GroupCommitService();
} else {
   
   
  this.flushCommitLogService = new FlushRealTimeService();
}

1：同步刷盘
同步的意思就是说当消息追加到内存后，就立即刷到文件中存储。
2：异步刷盘
当消息追加到内存中，并不是理解刷到文件中，而是在后台任务中进行异步操作。
RocketMQ默认采用异步刷盘策略。
当CommitLog在putMessage()中收到MappedFile成功追加消息到内存的结果后，便会调用handleDiskFlush()方法进行刷盘，将消息存储到文件中。handleDiskFlush()便会根据两种刷盘策略，调用不同的刷盘服务。

三、类目

在这里插入图片描述
从类图上来看，有三个不同的实现思路。那下面逐一来看过。
适用情况如下

同步刷盘使用GroupCommitService。
异步刷盘且未开启TransientStorePool，使用FlushRealTimeService。
异步刷盘且开启TransientStorePool，使用CommitRealService。

四、同步刷盘

同步刷盘的服务为GroupCommitService，该类有两个属性：requestsWrite和requestsRead。都是使用volatile关键字修饰的List对象。主要逻辑如下：
（1）：handleDiskFlush()中提交刷盘请求

final GroupCommitService service = (GroupCommitService) this.flushCommitLogService;

GroupCommitRequest request = new GroupCommitRequest(result.getWroteOffset() + result.getWroteBytes());
service.putRequest(request);

（2）：同步等待刷盘结果，刷盘失败也会标志消息存储失败，返回 FLUSH_DISK_TIMEOUT

boolean flushOK = request.waitForFlush(this.defaultMessageStore.getMessageStoreConfig().getSyncFlushTimeout());
if (!flushOK) {
   
   
  log.error("do groupcommit, wait for flush failed, topic: " + messageExt.getTopic() + " tags: " + messageExt.getTags()
      + " client address: " + messageExt.getBornHostString());
  putMessageResult.setPutMessageStatus(PutMessageStatus.FLUSH_DISK_TIMEOUT);
}

进行同步刷盘的服务为 GroupCommitService，当请求被提交给GroupCommitService后，GroupCommitService并不是立即处理，而是先放到内部的一个请求队列中，并利用waitPoint通知新请求到来。

public synchronized void putRequest(final GroupCommitRequest request) {
   
   
      synchronized (this.requestsWrite) {
   
   
          this.requestsWrite.add(request);
      }
      if (hasNotified.compareAndSet(false, true))