pulsar-3-对比pulsar和kafka

最新推荐文章于 2025-04-02 09:42:24 发布

原创

最新推荐文章于 2025-04-02 09:42:24 发布 · 520 阅读

0 ·

CC 4.0 BY-SA版权

本文对比分析了Pulsar和Kafka的消息平台，包括历史背景、架构、消息存储模型、消费模型和多租户管理。Pulsar采用分层架构，将计算与存储分离，而Kafka依赖Zookeeper。Pulsar提供四种消费模式，Kafka则采用消费者组模式。此外，文章还讨论了两者的运维特点，如Kafka在去Zookeeper后部署简化，而Pulsar支持更好的云原生环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考Pulsar到底能不能取代Kafka

1 历史背景

Pulsar是一款分布式发布/订阅消息平台，近两年非常火，被称为下一代的消息流平台，大有取代Kafka的势头。

Pulsar源自Yahoo，于2016年开源并捐献给Apache基金会，并在2018年9月升级成为Apache顶级项目。

Kafka最初由Linkedin开发，并于2010年贡献给了Apache基金会，之后成为Apache顶级项目。

2 架构对比

2.1 Kafka架构

Kafka架构由broker和zookeeper组成。
在这里插入图片描述

2.8.0 Released April 19, 2021 
注意：Kafka2.8版本可以不依赖Zookeeper独立运行了。
从Kafka2.8版本开始，可以不用Apache Zookeeper来作为Kafka的依赖组件了。
官网把这种称之为KRaft模式。

之前，Kafka使用Zookeeper来存储有关分区和Broker的元数据，
并选择一个Broker作为Kafka的Controller。
现在官网打算删除对Zookeeper的依赖，
让Kafka能够以更具扩展性和更加强大的方式管理元数据，从而支持更多分区。

KRaft目前在Kafka2.8版本是一个测试版本，KRaft模式不推荐使用到生产环境。当Kafka集群处理KRaft模式时，它不会将其元数据存储在Zookeeper中，实际上根本不需要运行Zookeeper，因为它将元数据存储在C