Kafka知识汇总 18道.pdf

Apache Kafka 是一个强大的分布式消息系统，它被设计用于处理大规模实时数据流。作为一个核心的组件，Kafka 提供了一个发布-订阅模型，允许生产者发送消息到主题（Topic），而消费者则可以从这些主题中订阅并消费消息。Kafka 的设计目标是高吞吐量、低延迟以及容错性，使得它在大数据领域中广泛应用。 Kafka 架构基于 ZooKeeper，后者作为协调服务，确保集群中的各个节点间的一致性。Kafka 集群由多个 Broker 组成，每个 Broker 包含若干个 Topic，每个 Topic 又可以进一步划分为多个 Partition。这种分区策略不仅增强了可伸缩性，还允许并行处理，从而提高了性能。每个 Partition 又有自己的副本（Replica），以实现数据冗余和容错。 在 Kafka 中，Partition 的领导者（Leader）负责接收生产者的数据写入和消费者的数据读取。Follower 是副本节点，它们从 Leader 中拉取消息进行复制。当 Leader 故障时，Kafka 会从 ISR（In-Sync Replica）列表中选择一个新的 Leader，ISR 是一组与 Leader 保持同步的副本。如果 ISR 中的所有副本都不可用，那么会选择第一个恢复的 Replica 作为新的 Leader，但这样可能会导致数据丢失或重复消费。 Kafka 的副本策略确保了数据的可用性和一致性。默认情况下，副本数量设置为 3，即 replication.factor 参数。replication-factor 指定了 Topic 的副本数量。Kafka 还引入了水印机制，如 LEO（Last End Offset）记录日志末端的位移，而 HW（High Watermark）标记了已提交的消息范围。如果 Follower 在指定的时间内（例如 `replica.lag.time.max.ms` 参数设置的10秒）没有向 Leader 发送 fetch 请求，或者与 Leader 的消息差距超过了预设值（如 `replica.lag.max.messages` 设置的4000条），那么 Leader 将考虑将其从 ISR 中移除。 为了确保至少有指定数量的副本与 Leader 保持同步，`min.insync.replicas` 参数被设置为 1。这意味着在 Leader 提交消息之前，至少需要有一个副本确认接收到消息，以保证至少有一份副本上的数据是最新的。这种机制平衡了数据的可用性和一致性。 Kafka 的生产者（Producer）使用 push 模式将消息发送到 Broker，而消费者（Consumer）则根据自己的需求从 Broker 拉取消息。消费者被组织成消费组（Consumer Group），每个 Partition 只能被同一消费组中的一个消费者消费，以保证分区内的消息顺序。 总结起来，Apache Kafka 是一种高效、可扩展且容错的分布式消息系统，其核心特性包括分布式架构、数据分区、副本机制、ZooKeeper 协调、水印机制以及发布-订阅模型。这些特性使其成为实时大数据处理和流式分析的理想选择。在面试中，了解这些关键知识点可以帮助候选人深入理解 Kafka 的工作原理及其在实际应用中的优势。