Pulsar 多租户与资源管理详解

于 2025-08-08 00:58:54 发布
阅读量866 收藏 12
点赞数 17
CC 4.0 BY-SA版权
分类专栏： MQ 文章标签： Pulsar 多租户 资源管理 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdn_tom_168/article/details/149812416

Pulsar 多租户与资源管理 是构建企业级、SaaS、云原生消息平台的核心能力。Pulsar 原生支持多租户架构，通过 Tenant（租户） → Namespace（命名空间） → Topic（主题） 的层级模型，实现 资源隔离、配额控制、权限管理 的精细化管控。

📘 Pulsar 多租户与资源管理详解

一、多租户架构概览

Tenant（租户）
 └── Namespace（命名空间）
      └── Topic（主题）
           ├── Subscription（订阅）
           └── Messages
  • Tenant：最高隔离单元，代表一个组织、部门或客户。
  • Namespace：租户下的逻辑分组，是资源配置和权限控制的基本单位。
  • Topic：消息通道，继承 Namespace 的策略。

二、创建与配置租户（Tenant）

1. 创建租户

pulsar-admin tenants create mycompany \
  --admin-roles admin-user,dev-team \
  --allowed-clusters cluster-a,cluster-b
参数说明
--admin-roles指定对该租户有管理权限的角色（用于 JWT 认证）
--allowed-clusters允许该租户使用的集群（用于跨集群复制）

2. 查看租户信息

pulsar-admin tenants list
pulsar-admin tenants get mycompany

3. 更新租户

pulsar-admin tenants update mycompany \
  --admin-roles admin-user,dev-team,ops-team \
  --allowed-clusters cluster-a,cluster-b,cluster-c

4. 删除租户

pulsar-admin tenants delete mycompany

⚠️ 删除前必须删除所有 Namespace 和 Topic。

三、创建与配置命名空间（Namespace）

Namespace 是资源管理的核心单元，支持多种策略配置。

1. 创建命名空间

pulsar-admin namespaces create mycompany/finance

命名空间名格式：tenant/namespace

2. 配置存储配额（Storage Quota）

限制命名空间使用的最大磁盘空间。

pulsar-admin namespaces set-storage-quota mycompany/finance \
  --storage-quota-limit 10G \
  --persistent-messages-rate-limit=10485760  # 10MB/s

超出配额后，Producer 会被拒绝。

3. 配置消息 TTL 与保留策略

控制消息的生命周期。

# 设置消息 TTL（未消费则删除）
pulsar-admin namespaces set-retention mycompany/finance \
  --time 72h \
  --size 10G
  • --time：消息最大保留时间
  • --size：未消费消息最大字节数

适用于日志、监控等场景。

4. 配置 Backlog 配额（Backlog Quota）

控制未消费消息的积压上限。

pulsar-admin namespaces set-backlog-quota mycompany/finance \
  --limit 5G \
  --retention-time 6h \
  --policy producer_request_hold  # 或 producer_exception, consumer_backlog_eviction
策略说明
producer_request_holdProducer 阻塞等待
producer_exceptionProducer 抛异常
consumer_backlog_eviction删除最老消息（FIFO）

5. 限制订阅数

防止滥用订阅。

pulsar-admin namespaces set-subscription-dispatch-rate mycompany/finance \
  --dispatch-rate-period 1 \
  --rate-period-unit second \
  --msg-dispatch-rate 1000  # 每秒最多 1000 条

实际订阅数限制需通过 max-subscriptions-per-topic 等参数控制。

6. 配置生产/消费速率限制

控制流量，防刷。

# 生产速率
pulsar-admin namespaces set-publish-rate mycompany/finance \
  --msg-publish-rate 1000 \
  --byte-publish-rate 10485760  # 10MB/s

# 消费速率
pulsar-admin namespaces set-subscription-dispatch-rate mycompany/finance \
  --msg-dispatch-rate 800

7. 设置复制集群（Geo-Replication）

允许跨集群复制。

pulsar-admin namespaces set-clusters mycompany/finance \
  --clusters cluster-a,cluster-b

用于灾备、多地域部署。

8. 查看命名空间所有策略

pulsar-admin namespaces policies mycompany/finance

输出示例：

{
  "auth_policies": { ... },
  "replication_clusters": ["cluster-a"],
  "backlog_quota_map": {
    "destination_storage": {
      "limit": 5368709120,
      "policy": "producer_request_hold"
    }
  },
  "storage_quota": {
    "limit": 10737418240,
    "usage": 123456789
  },
  "message_ttl_in_seconds": 259200,
  "subscription_dispatch_rate": {
    "msgRateLimit": 800
  },
  "publish_rate": {
    "publishThrottlingRatePerTopicInMsg": 1000
  }
}

四、细粒度权限控制

Pulsar 支持 认证（Authentication） + 授权（Authorization） 的完整安全模型。

1. 认证方式（Authentication）

认证方式说明
✅ JWT（推荐）基于 Token，适合云环境
✅ TLS 证书双向认证，安全性高
✅ Kerberos企业 AD 集成
✅ AthenzYahoo 开源，适合大规模微服务
✅ OAuth2与第三方身份提供商集成
JWT 配置示例（broker.conf）
authenticationEnabled=true
authenticationProviders=org.apache.pulsar.broker.authentication.AuthenticationProviderJWT
jwtPublicKey=file:///path/to/public.key
superUserRoles=admin,ops

客户端使用 token:xxx 连接。

2. 授权机制（Authorization）

控制角色对资源的访问权限。

(1) 授权粒度
粒度支持
Tenant✅
Namespace✅
Topic✅
Subscription✅
(2) 权限操作
操作说明
produce允许发送消息
consume允许订阅消息
functions允许部署 Pulsar Functions
sources / sinks允许使用 Connectors
read / write对元数据的操作

3. 权限管理方式

(1) 使用 pulsar-admin 命令
# 授予权限
pulsar-admin namespaces grant-permission mycompany/finance \
  --role finance-team \
  --actions produce,consume

# 查看权限
pulsar-admin namespaces permissions mycompany/finance

# 撤销权限
pulsar-admin namespaces revoke-permission mycompany/finance --role guest
(2) 使用 REST API
POST /admin/v2/namespaces/mycompany/finance/permissions/finance-team
Body: ["produce", "consume"]
(3) 使用 Pulsar Manager Web UI
  • 登录后，进入 Namespaces → Permissions
  • 图形化添加/删除角色权限

4. 权限继承规则

  • Namespace 权限 → 继承给其下所有 Topic
  • Topic 权限 → 覆盖 Namespace 权限（可单独设置）
  • Subscription → 由订阅者角色决定

5. 超级用户（SuperUser）

在 broker.conf 中配置：

superUserRoles=admin,backup-user

超级用户拥有所有权限，不受普通授权限制。

五、典型多租户场景

场景 1：SaaS 平台

Tenant: customer-a
  └── Namespace: prod    (配额 10GB, 复制到 us-west)
  └── Namespace: dev     (配额 1GB, 仅本地)

Tenant: customer-b
  └── Namespace: prod    (配额 5GB, 复制到 eu-central)
  • 每个客户一个 Tenant，完全隔离。
  • 可设置不同 SLA 和配额。

场景 2：企业内部多部门

Tenant: mycorp
 ├── Namespace: finance     (高安全，仅内网复制)
 ├── Namespace: marketing   (低配额，允许外部分析)
 └── Namespace: iot          (高吞吐，不限速)
  • 统一集群，按部门划分 Namespace。
  • 财务部门限制严格，IoT 部门允许高吞吐。

六、最佳实践建议

实践建议
✅ 租户命名规范使用公司名、项目名，如 acme-inc
✅ 命名空间命名使用环境+功能，如 finance-prod, user-events-dev
✅ 默认配额为每个新 Namespace 设置默认配额，防资源滥用
✅ 权限最小化遵循最小权限原则，避免 * 通配符滥用
✅ 监控与告警监控各 Namespace 的存储、吞吐、连接数，设置阈值告警
✅ 自动化管理使用 CI/CD 或 Terraform + Pulsar Admin API 自动创建租户/命名空间

✅ 总结

功能工具
租户管理pulsar-admin tenants create
命名空间策略set-storage-quota, set-retention, set-publish-rate 等
权限控制grant-permission, JWT, Pulsar Manager
安全认证JWT, TLS, Kerberos, Athenz

📌 一句话总结：

Pulsar 的多租户 = 租户隔离 + 资源配额 + 细粒度权限 —— 通过 pulsar-admin 或 REST API 精细配置，你可以为每个团队、客户构建独立、安全、可控的消息通道。

Pulsar Consumer原理与代码实例讲解
AI天才研究院
07-02 383
在现代分布式系统中，消息队列（Message Queue）作为一种重要的中间件，广泛应用于解耦、削峰填谷、异步通信等场景。Apache Pulsar作为一款开源的分布式消息流平台，因其高吞吐量、低延迟和多租户支持等特性，逐渐受到业界的关注和采用。Pulsar的Consumer组件是其核心部分之一，负责从Topic中消费消息，并将其传递给应用程序进行处理。Pulsar Consumer的核心算法主要包括消息拉取、消息确认和负载均衡等。消息拉取：Consumer从Broker拉取消息。消息确认。
Pulsar Producer原理与代码实例讲解
AI天才研究院
07-21 838
随着大数据和云计算的快速发展，分布式系统的构建变得越来越重要。Apache Pulsar 是一个高性能、可扩展、可靠的发布-订阅消息系统，它被广泛应用于构建高吞吐量、低延迟的实时应用。在Pulsar中，Producer负责发送消息到Pulsar的Topic，是Pulsar系统中不可或缺的一部分。消息发送：Producer将消息序列化为二进制格式，并选择一个或多个BookKeeper进行持久化存储。消息确认：Producer等待BookKeeper返回消息确认，以确保消息已成功发送。消息路由。
Pulsar Multi Tenancy 多租户
swadian2008的博客
06-17 995
Pulsar 从一开始就是一个多租户系统。为了支持多个租户（multi-tenancy），Pulsar 提出了租户的概念。租户可以分布在多个集群中，每个租户都可以有自己的身份验证和授权方案。同时租户也是一个独立的管理单元，可针对不同的租户配置不同的存储分配方案、消息的TTL策略、隔离策略等。// 租户可以作为一个独立的管理单元Pulsar 的多租户特性主要体现在主题 url 中，其结构如下：// 租户->命名空间->主题正如你所见，租户是主题分类的最基本的单元（比命名空间和主题名称更加基础）。
Apache Pulsar的多租户消息系统
weixin_34311757的博客
01-20 294
本文由 「AI前线」原创，原文链接：Apache Pulsar的多租户消息系统作者｜Matteo Merli and Sijie Guo译者｜大愚若智编辑｜EmilyAI 前线导读：”本文介绍了 Apache Pulsar 为大型多层次企业量身打造的消息系统。”在之前的博客文章中，我们介绍了多个选择 Apache Pulsar 作为企业级实时业务所用消息解决方案的原因。后续文章中，将会深入介绍其中...
pulsar基础（五）—多租户的操作
稷下学员的笔记博客
01-27 1876
多租户操作 获取租户列表 tenants list cd /export/server/brokers/bin ./pulsar-admin tenants list 创建租户 在创建租户时，可以使用-r 或者 --admin-roles标志分配管理角色。可以用逗号分隔的列表指定多个角色 cd /export/server/brokers/bin ./pulsar-admin tenants create my-tenant ./pulsar-admin tenants create my-tenan
01.pulsar基本介绍、多租户模式、云原生架构、Segmented Streams、支持跨地域复制、pulsar组件介绍、Pulsar IO (Connector)、Pulsar与kafka的对比
涂作权的博客
03-05 718
云原生的概念是2013年Matt Stine提出的,到目前为止, 云原生的概念发生了多次变更, 目前最新对云原生定义为: DevOps + 持续交付 + 微服务 + 容器而符合云原生架构的应用程序是：采用开源堆栈(K8S + Docker)进行容器化，基于微服务架构提供灵活性和可维护性，借助敏捷方法、DevOps支持持续迭代和运维自动化，利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。DevOps: 指的就是开发和运维不再是分开的两个团队，而是你中有我，我中有你的一个团队。微服务。
Pulsar管理和监控BookKeeper
互联网知识分享
11-12 516
Pulsar管理和监控工具提供了一系列命令行工具和REST API，可以用于管理和监控Pulsar集群中的BookKeeper实例。可以使用这些工具来创建和管理BookKeeper集群，以及监控BookKeeper的运行状态和性能。此外，还可以使用其他监控工具如Prometheus和Grafana来监控BookKeeper的性能指标。通过这些工具，可以实时监控BookKeeper的运行状况，并及时发现和解决潜在的问题，以保证Pulsar集群的高可用性和性能。
Apache Pulsar 技术系列 - Pulsar 总览
qq_18536071的专栏
10-29 1379
pulsar原理深入分析
Apache Pulsar 分布式消息流平台详解与Q&A
"Apache Pulsar 是一个强大的分布式消息流平台，提供消息、存储和轻量级函数计算功能，采用计算与存储分离的架构，具备多租户、持久化、跨区域复制、高一致性和高性能等特点。该PDF文档可能是关于Pulsar的问答专场，...
3-pulsar配置文件详解
最新发布
xuebo1129927648的博客
07-29 48
Broker 配置（核心消息节点配置）BookKeeper 配置（持久化存储节点配置）ZooKeeper 配置（元数据管理配置）Proxy 配置proxy.conf（客户端代理节点配置）其他组件配置：如（函数工作节点）、（Schema 注册表）等。配置优先级：默认配置（内置） < 自定义配置文件（如） < 环境变量（如修改配置后需重启对应组件生效。参数位置（BookKeeper 配置文件）参数作用。
Apache Pulsar管理工具Pulsar Manager的介绍和使用
11-15
Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
消息队列篇--原理篇--Pulsar（Namespace，BookKeeper，类似Kafka甚至更好的消息队列）
weisian的博客
01-21 2076
Apache Pulsar是一个功能强大、架构灵活的消息系统，特别适合大规模分布式系统的实时数据处理和异步通信。它的分层架构、多租户支持、持久化和一致性保障、灵活的消息模型等特点，使其在性能、可靠性和可扩展性方面表现出色。Pulsar还拥有丰富的生态系统，支持与其他工具和服务集成，适用于多种应用场景。乘风破浪会有时，直挂云帆济沧海！！！
Pulsar详解5—Pulsar的管理和监控
风不归的乐园
12-21 3420
Pulsar的管理和监控：命令行工具pulsar-admin的使用，监控指标：关键性能指标、指标的收集与展示，集成工具：Grafana集成、Prometheus集成
Apache Pulsar可视化管理工具：Pulsar-Manager部署及使用
个人技术学习笔记
11-10 8702
pulsar-manager部署及使用
升级到 Pulsar3.0 后深入了解 JWT 鉴权
crossoverJie专栏
11-20 176
背景最近在测试将 Pulsar 2.11.2 升级到 3.0.1的过程中碰到一个鉴权问题，正好借着这个问题充分了解下 Pulsar 的鉴权机制是如何运转的。Pulsar 支持 Namespace/Topic 级别的鉴权，在生产环境中往往会使用 topic 级别的鉴权，从而防止消息泄露或者其他因为权限管控不严格而导致的问题。image.png我们会在创建 topic 的时候为 topic 绑定一个应...
【亲测免费】 Apache Pulsar Manager —— 强大的Pulsar集群管理工具
gitblog_00022的博客
11-05 621
Apache Pulsar Manager —— 强大的Pulsar集群管理工具 Apache Pulsar Manager 是一个基于Web的GUI管理工具，专为Apache Pulsar消息系统设计，其核心在于简化对Pulsar集群的管理和监控。此项目广泛采用Java作为后端开发语言，并结合前端技术栈提供流畅的用户体验。 核心功能 多环境管理：允许用户管理多个不同的Pulsar实例或集群，每...
pulsar单机版docker权限添加问题记录
sinat_31581035的博客
08-19 397
pulsar单机版docker权限添加不生效问题记录
一文搞定Pulsar入门与原理探究
hefaji的博客
03-10 5469
新一代消息中间件pulsar
Apache Pulsar 多租户
01-11
### Apache Pulsar 多租户配置与管理 #### 配置命名空间隔离策略 为了支持多租户环境，Pulsar 提供了基于命名空间的资源分配机制。通过定义不同的命名空间来实现不同租户之间的消息流分离。管理员可以设置配额和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值