Apache Pulsar
Pulsar — 分布式发布/订阅消息,含流和队列。
消息队列复杂
技术栈组成
ServerPulsar 3.x
StorageBookKeeper
为什么
计算/存储分离,地理复制,多租户,分层存储。Kafka 在 LinkedIn 日处理 7 万亿以上消息。
Redis Streams 和 BullMQ 为 Node.js 应用提供更简队列,单实例处理 10 万以上作业/秒。
何时使用
用于大规模消息。避免简单发布/订阅。
如何做
1. 部署 Pulsar 集群
2. 创建租户/命名空间/主题
3. 生产/消费消息
4. 配置策略
示例
const producer = await client.createProducer({ topic: 'my-topic' });
await producer.send({ data: Buffer.from('你好') });
常见问题
- ⚠集群复杂 — 用托管 Pulsar
- ⚠BookKeeper 调优 — 调整 journal 设置
- ⚠环境间配置漂移 — 使用基础设施即代码(Terraform/Pulumi)保持 dev/staging/prod 一致
最佳实践
- ✓用 schema registry 类型安全
- ✓用 function 流处理
- ✓设置健康检查和优雅关闭 — 处理 SIGTERM 以在退出前排空进行中的请求
常见问题解答
什么是Apache Pulsar?适合做什么项目?
Pulsar — 分布式发布/订阅消息,含流和队列。 它通过分层组合提供端到端类型安全与开箱即用的部署体验,适合从 MVP 到生产 SaaS 的快速迭代。
如何用Apache Pulsar在 10 分钟内跑通一个 demo?
两步起步:① 部署 Pulsar 集群;② 创建租户/命名空间/主题。先跑通本地 dev server,再接一个真实数据源验证端到端链路。
Apache Pulsar 最常见的坑是什么?怎么避免?
最高频的坑是:集群复杂 — 用托管 Pulsar。避免方法:在 PR 模板里加入对应 checklist,CI 中跑类型检查 + lint + 单测,三重把关再合并。
Apache Pulsar 的最佳实践有哪些?
Apache Pulsar 的最佳实践包括:用 schema registry 类型安全;用 function 流处理;设置健康检查和优雅关闭 — 处理 SIGTERM 以在退出前排空进行中的请求。其中首条「用 schema registry 类型安全」应在项目初始化时就落地,避免后期返工。
什么情况下不该选Apache Pulsar?
三种情况另选他栈:① 团队对该栈核心框架零经验且工期紧张(学习曲线风险);② 项目是纯内容/营销站(选 Astro 更轻);③ 需要极高吞吐(>1 万 RPS)或强一致微服务(选 Go/Rust)。Apache Pulsar 的强项是中高复杂度全栈与 API,别在简单静态页上过度工程。