RocketMQ 消费者Rebalance算法 解析——图解、源码级解析

最新推荐文章于 2023-05-19 11:58:05 发布
最新推荐文章于 2023-05-19 11:58:05 发布
阅读量2.7k 收藏 90
点赞数 119
CC 4.0 BY-SA版权
分类专栏： 深入浅出RocketMQ设计思想 文章标签： java-rocketmq rocketmq 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HNU_Csee_wjw/article/details/123531191
本文详细解析了RocketMQ消费者的几种Rebalance算法，包括平均分配、环形平均分配、一致性哈希、指定机房和就近机房算法，并提供了源码分析。此外，还介绍了如何手动配置负载均衡参数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

🍊 Java学习：Java从入门到精通总结

🍊 深入浅出RocketMQ设计思想：深入浅出RocketMQ设计思想

🍊 绝对不一样的职场干货：大厂最佳实践经验指南


📆 最近更新：2022年10月15日

🍊 个人简介：通信工程本硕💪、Java程序员🌕。做过科研paper，发过专利，优秀的程序员不应该只是CRUD

🍊 点赞 👍 收藏 ⭐留言 📝 都是我最大的动力！

文章目录

平均分配算法

这也是消息消费时候的默认算法，所谓平均，就是同一个Topic主题下的所有队列被同一个消费者组中的所有Consumer平均消费掉。

例如有5个队列和2和Consumer，就会根据下面的步骤进行分配：

  1. 5除以2不能整除，所以队列无法均分
  2. 每个消费者先分到2个队列
  3. 多出来的1个队列按照顺序分配给了第一
了解本专栏 订阅专栏 解锁全文 超级会员免费看
RocketMQ 消费者Rebalance 解析——图解、源码级解析
如切如磋，如琢如磨
04-15 2241
文章目录什么是消息负载均衡？Rebalance的原因负载策略使用方法消息消费默认策略 什么是消息负载均衡？ Rebalance机制： 将一个Topic下的多个队列在同一个消费者组下的多个消费者实例之间进行重新分配。该机制的目的是为了提高消息的并行处理能力 例如： 一个Topic下有5个队列，如果只有一个消费者的话，这个消费者就会处理所有队列的消息。如果有两个消费者的话，就可以两个消费者共同处理这5个队列 但Rebalance机制也存在明显的限制与危害： 如果消费者组下的消费者实例数量大于队列数量时，多
学习 Kafka，提升大数据项目开发能力
最新发布
AI天才研究院
08-15 676
Kafka 是应对实时数据洪流的分布式消息系统引擎，高吞吐、低延迟、高可靠、可扩展是其核心价值。Topic（逻辑流）、Partition（并行子流）、Producer（写入者）、Consumer & Consumer Group（组内并行消费）、Broker（节点）、Replica (副本，保证可靠)、ISR（同步副本集）。日志/指标采集、微服务解耦、流处理、批流一体数据湖/仓。平衡吞吐、延迟、可靠性（生产者acksbatch.size、消费者fetchpoll。
RocketMQ你不得不了解的 Rebalance机制源码分析
m0_73311735的博客
05-19 209
这里我们详细介绍了client是如何触发Rebalance的，以及触发Rebalance的时机，也介绍了Rebalance的好处。实际还有很多细节我们限于篇幅暂未分析。后面我们会继续分析Rebalance的坏处和一些详细的Rebalance算法。
RocketMQ源码解析
weixin_43415481的博客
06-11 662
JAVA后端开发知识总结（持续更新…） RocketMQ源码解析 文章目录RocketMQ源码解析一、原理1.1 Producer的启动流程1.2 Producer的顺序消息参考文档 一、原理 1.1 Producer的启动流程 1.2 Producer的顺序消息   Producer：将需要保证顺序的消息按某个属性来自定义选择 MessageQueue，相同属性的分到同一个MessageQueue，然后采取同步发送的方式发送，这时也能保证前一个消息发送成功并返回响应后，才能发送下一个。  .
codis的Rebalance算法
06-06 260
Codis 由四部分组成: Codis Proxy (codis-proxy) Codis Dashboard (codis-config) Codis Redis (codis-server) ZooKeeper/Etcd codis-proxy 是客户端...
Rocketmq之消息队列分配策略算法实现的源码分析
乐点的博客
02-09 946
Rocketmq之消息队列分配策略算法实现的源码分析 本文中包含下面的内容 平均分配策略(默认)(AllocateMessageQueueAveragely) 环形分配策略(AllocateMessageQueueAveragelyByCircle) 手动配置分配策略(AllocateMessageQueueByConfig) 机房分配策略(AllocateMessageQueueByMachineRoom) 一致性哈希分配策略(AllocateMessageQueueConsistentHas
rocketmq核心源码分析第十六篇一消息消费五部曲一消息平衡
小麒麟的博客
02-02 666
文章目录组件图流程图源码分析一RebalanceService源码分析MQClientInstance.doRebalanceDefaultMQPushConsumerImpl.doRebalanceRebalanceImpl.doRebalanceRebalanceImpl.rebalanceByTopic一核心代码findConsumerIdListallocateMessageQueueStrategy原理updateProcessQueueTableInRebalance变更核心数据总结 组件图
图解 Kafka 超高并发网络架构演进过程
m0_67322837的博客
08-19 412
要想理解 Kafka Broker 请求处理架构设计，我们需要从简单请求处理模型来说起。对于日常系统开发，我们都知道是基于 Request/Response 的模式来实现的， 对于 Kafka 来说， 无论是 Producer 端、Consumer 端 还是 Broker 端，他们之间的请求交互也都是基于「」模式来完成的。比如，客户端会通过网络发送消息生产请求给 Broker，而 Broker 处理完成后，会发送对应的响应给到客户端。
Kafka架构原理(三)
arthur.dy.lee的专栏
05-03 2887
本文介绍了整体架构（涉及到的名词如controller,broker,zk,log,topic,partition等）、网络模型，存储模型和文件系统，高可用模型及幂等，如何实现exactly-once
细谈RocketMQ的消费模式
热门推荐
凡是过往，皆为序章
10-17 2万+
目录 集群消费 广播消费 使用集群消费模拟广播消费 首先明确一点，RocketMQ 是基于发布订阅模型的消息中间件。所谓的发布订阅就是说，consumer 订阅了 broker 上的某个 topic，当 producer 发布消息到 broker 上的该 topic 时，consumer 就能收到该条消息。 之前我们讲过 consumer group 的概念，即消费同一类消息的多个 co...
RocketMQ 消费者（1）概念和消费流程
金甲虫的博客
10-09 7414
1. 背景 RocketMQ 的消费可以算是 RocketMQ 的业务逻辑中最复杂的一块。这里面涉及到许多消费模式和特性。本想一篇文章写完，写到后面发现消费涉及到的内容太多，于是决定分多篇来写。本文作为消费系列的第一篇，主要讲述 RocketMQ 消费涉及到的模式和特性，也会概括性地讲一下消费流程。 我将 RocketMQ 的消费流程大致分成 4 个步骤 重平衡 消费者拉取消息 Broker 接收拉取请求后从存储中查询消息并返回 消费者消费消息 每个步骤都会用一篇文章来讲解。 先了解一下 RocketM
深入理解RocketMQ Rebalance机制
meser88的博客
11-15 4752
本文深入的分析了RocketMQ的Rebalance机制，主要包括以下内容： Rebalance必要的元数据信息的维护 Broker协调通知机制； 消费者/启动/运行时/停止时Rebalance触发时机 单个Topic的Rebalance流程 分区分配策略 RocketMQ与Kafka Rebalance机制的区别， 文章篇幅较长，感兴趣的用户可以先收藏，再阅读。 1 Rebalance简介 Rebalance(再均衡)机制...
RocketMQ消息消费（Consumer）源码解析
bao2901203013的专栏
08-23 2282
RocketMQ中消息消费以消费组的模式开展，一个消费组内可以包含多个消费者，每一个消费者组可订阅多个主题，消费组内消费者之间有集群模式和广播模式两种消费模式。集群模式，主题下的同一条消息只允许被其中一个消费者消费。广播模式，主题下的同一条消息，将被集群内的所有消费者消费一次。消息服务器与消费者之间的消息传递也有两种模式：推模式、拉模式。所谓的拉模式即PullConsumer，是消费端主动拉起拉消息请求，而推模式即PushConsumer,是消息达到消息服务器后，推送给消息消费者。......
详解RocketMQ不同类型的消费者
qq_43966957的博客
12-11 688
详解RocketMQ不同类型的消费者
RocketMQ 的消费者类型详解与最佳实践
阿里巴巴云原生的博客
11-30 1997
在 RocketMQ 5.0 中，更加强调了客户端类型的概念，尤其是消费者类型。为了满足多样的 RocketMQ 中一共有三种不同的消费者类型，分别是 PushConsumer、SimpleConsumer 和 PullConsumer。不同的消费者类型对应着不同的业务场景。
RocketMQ源码解析之消息消费者(rebalance)
猿上生活
12-01 1194
原创不易，转载请注明出处 文章目录前言1.rebalance原理介绍2.源码剖析总结 前言 从本文开始我们就进入消息消费者核心机制介绍了，其实消息消费就三大核心步骤，第一就是rebalance，第二就是拉取消息，第三就是消费，对消息消费中出现的异常做一些处理。在阅读本篇文章之前最好阅读一下《RocketMQ源码解析之消息消费者（发送心跳给broker）》这篇文章，这篇主要介绍了消息消费者向namesrv拉取topic路由信息与向broker 进行注册这两个功能，其实这个向broker注册是比较重要的，.
RocketMq实现原理--PUSH消费者负载均衡
heartbeatNothing的博客
02-18 2766
RocketMq实现原理--PUSH消费者负载均衡双负载均衡消费者客户端hash算法broker上消费者集合容灾措施缺陷 全新的界面设计 ，将会带来全新的写作体验； 双负载均衡 rocketmq是客户端负载均衡实现。 rocketmq消息是使用broker（服务器）与queueid（消息分组）两个单位实现消费逻辑。rocketmq集群是由若干个broker，每个topic在broker上存在若...
kafka consumer 分区 reblance 算法
super_wj0820的博客
10-25 475
Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。 例如：某 Group 下有 20 个 consumer 实例，它订阅了一个具有 100 个 partition 的 Topic 。正常情况下，kafka 会为每个 Consumer 平均的分配 5 个分区。这个分配的过程就是 Rebalan...
kafka rebalance机制
北方的雪之博客专栏
03-09 1万+
Kafka保证同一consumer group中只有一个consumer会消费某条消息，实际上，Kafka保证的是稳定状态下每一个consumer实例只会消费某一个或多个特定的数据，而某个partition的数据只会被某一个特定的consumer实例所消费。这样设计的劣势是无法让同一个consumer group里的consumer均匀消费数据，优势是每个consumer不用都跟大量的broker
RocketMQ消费者创建失败
01-11
### RocketMQ 消费者创建失败的原因分析与解决方案 #### 1. 配置文件错误 配置文件中的参数设置不当可能导致消费者无法成功启动。常见的配置项包括 `namesrvAddr`、`consumerGroup` 和 `topic` 等。确保这些配置项...
评论 103
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小王曾是少年

如果对你有帮助，欢迎支持我

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值