kafka server/broker学习

weixin_40455124

已于 2022-03-24 05:59:22 修改

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： kafka 文章标签： kafka broker server 时间轮副本管理

于 2022-03-11 22:46:51 首次发布

本文链接：https://blog.csdn.net/weixin_40455124/article/details/123435747

kafka 专栏收录该内容

12 篇文章

订阅专栏

本文深入探讨了Kafka的SystemTimer和时间轮实现，解释了如何通过时间轮进行任务调度，并介绍了DelayedOperation及其在延迟操作管理中的作用。此外，详细阐述了Kafka的副本管理，包括本地副本和远程副本的概念，以及副本的角色切换和ISR集合的动态调整。ReplicaManager在Broker中的角色和KafkaController作为集群管理者的职责也被提及，如分区的Leader选举和MetadataCache的更新。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

总体图

在这里插入图片描述

时间轮

在这里插入图片描述

但task不在第一轮范围距离该任务的到期时间还有45ms，不能执行任务。我们将其重新提交到层级时间轮中，此时第一层时间轮跨度依然不够，但是第二层时间轮的跨度足够，该任务会被放到第二层时间轮第三个时间格中等待执行。如此往复几次，高层时间轮的任务会慢慢移动到低层时间轮上，最终任务到期执行。

SystemTimer是Kafka中的定时器实现，它在TimeWheel的基础上添加了执行到期任务、阻塞等待最近到
期任务的功能。
Kafka使用DelayedOperation抽象类表示延迟操作，它对TimeTask进行了扩展，除了有定时执行的功能，还提供了检测其他执行条件的功能。
DelayedOperationPurgatory是一个辅助类，提供了管理DelayedOperation以及处理到期DelayedOperation
的功能。