Pulsar 水平扩展与负载均衡详解

Pulsar 水平扩展与负载均衡 是其作为云原生、高可扩展消息系统的核心优势。Pulsar 通过 无状态 Broker + 分层架构 实现了极强的弹性伸缩能力，支持在不停机的情况下动态增加 Broker 和 Bookie 节点，自动完成流量和数据的负载均衡。

📘 Pulsar 水平扩展与负载均衡详解

一、整体扩展架构概览

+---------------------+
|     Client Layer     |
| (Producers/Consumers)|
+----------+----------+
           |
           v
+----------+----------+
|       Proxies        |  ← 可选，统一接入
+----------+----------+
           |
           v
+----------+----------+
|     Brokers (Stateless)    |
| - 无状态，仅负责路由       |
| - 负载均衡基于 Bundle      |
+----------+----------+
           |
           v
+----------+----------+
|   BookKeeper (Storage)     |
| - 存储节点，有状态         |
| - 水平扩展增加容量与 IOPS  |
+----------+----------+
           |
           v
+----------+----------+
|    ZooKeeper (Metadata)    |
| - 协调服务，不参与数据流   |
+---------------------+

✅ Broker 无状态 → 易扩展
✅ Bookie 有状态 → 需数据迁移与均衡

二、Broker 水平扩展与负载均衡

1. Broker 为何无状态？

• Broker 不存储消息数据，消息由 BookKeeper 持久化。
• Broker 仅维护：
  • Topic 路由信息
  • 消费者连接状态
  • Bundle 到 Broker 的映射
• 所有元数据存储在 ZooKeeper。

✅ 因此，Broker 可随时增减，无需数据迁移。

2. 负载均衡机制：Bundle（束）

(1) 什么是 Bundle？

• Bundle 是 Pulsar 负载均衡的基本单元。
• 每个 Namespace 被划分为多个 Bundle，每个 Bundle 管理一组 Topic。
• Bundle 范围是哈希槽（hash range），如 0x00000000_0xffffffff。

✅ 类比：Kafka 的 Partition 是负载单元，而 Pulsar 的 Bundle 是 Broker 负载单元。

(2) Bundle 的默认数量

• 每个 Namespace 默认有 1 个 Bundle。
• 可通过配置或运行时拆分。

# 查看 Namespace 的 Bundle
pulsar-admin namespaces bundles my-tenant/my-namespace

输出示例：

{
  "boundaries": ["0x00000000", "0x40000000", "0x80000000", "0xc0000000", "0xffffffff"]
}

表示已拆分为 4 个 Bundle。

3. 自动负载均衡（Load Balancer）

Pulsar 内置 LoadBalancer 组件，负责将 Bundle 在 Broker 间动态分配。

(1) 负载均衡策略

配置在 broker.conf：

# 启用负载均衡
loadBalancerEnabled=true

# 负载均衡策略
loadBalancerStrategy=modular

# 检查间隔
loadBalancerHeavyLoadThresholdPercentage=80
loadBalancerBrokerCPUUsageThresholdPercentage=80

(2) 负载均衡流程

1. LoadBalancer 定期检查所有 Broker 负载
   ↓
2. 发现某 Broker 负载过高（CPU > 80%）
   ↓
3. 选择一个其上的 Bundle
   ↓
4. 将该 Bundle 分配给负载较低的 Broker
   ↓
5. 更新 ZooKeeper 中的映射
   ↓
6. 客户端通过 Lookup 重定向到新 Broker

✅ 对生产者/消费者透明，仅一次重连。

4. Bundle 自动拆分（Auto Split）

当某个 Bundle 负载过高（如 Topic 数过多、流量大），可自动拆分为多个子 Bundle，提升并行度。

(1) 启用自动拆分

pulsar-admin namespaces set-auto-topic-creation my-tenant/my-namespace \
  --enable

pulsar-admin namespaces set-bundle-split-conf my-tenant/my-namespace \
  --max-concurrent-lookup-requests 1000 \
  --max-msg-rate-in 10000 \
  --max-msg-rate-out 10000 \
  --min-bundle-size 1073741824  # 1GB

(2) 手动触发拆分

pulsar-admin namespaces split-bundle my-tenant/my-namespace \
  --bundle 0x00000000_0xffffffff \
  --split-at 0x40000000

5. Lookup 机制（客户端路由）

当 Topic 的 Bundle 被迁移到新 Broker 时，客户端通过 Lookup 获取最新路由：

Client → Proxy/Broker
   ↓
"Lookup: where is my-topic?"
   ↓
Broker 返回目标 Broker 地址
   ↓
Client 重连到目标 Broker

✅ Lookup 结果可缓存，减少延迟。

三、Bookie 水平扩展

1. Bookie 扩展目标

• 增加存储容量：支持更多消息
• 提升 IOPS：支持更高吞吐
• 提高可用性：更多副本选择

✅ Bookie 是有状态的，扩展需数据迁移。

2. 扩展流程

# 1. 启动新 Bookie 节点
bin/bookie

# 2. 系统自动检测新节点加入
# 3. Auditor 发现副本不足
# 4. Autorecovery 将数据复制到新 Bookie

✅ 无需手动干预，自动完成数据均衡。

3. 数据均衡机制

(1) Autorecovery（自动副本修复）

• 当新 Bookie 加入，Auditor 检测到某些 Ledger 副本数不足。
• Autorecovery Worker 将缺失副本复制到新 Bookie。

(2) Ensemble 重选（Re-replication）

• 新 Ledger 的 Ensemble 会包含新 Bookie。
• 旧 Ledger 通过 Autorecovery 逐步均衡。

4. 扩展后的性能提升

四、水平扩展最佳实践

五、关键监控指标

✅ 总结

📌 一句话总结：

Pulsar 的扩展 = Broker 无状态 + Bundle 动态拆分 + Bookie 自动均衡 —— 通过这套机制，你可以在不停机的情况下，轻松实现从 10MB/s 到 1GB/s 的弹性伸缩。