====== 一文讲清楚:broker(代理 / 中间人) ====== 先给结论:**broker = 站在两方之间、专门替他们牵线搭桥的那个「中间服务」**。它自己不生产业务数据,也不是终极消费者,只负责把一方的请求或消息接过来,按规则送到该去的地方,再把结果带回去。 词源:来自古法语 ''brocour'',本义是「替别人做买卖的人」——**不自己买、不自己卖,只在中间撮合**。今天证券市场的「券商 / 经纪人」用的正是同一个词:它不持有股票,只把你的委托递出去、把成交结果带回来。计算机里的 broker 完全是同一件事,只是把「委托单」换成了「消息、请求、凭证」。 ===== 1. 一个判据看穿所有场景 ===== 判断一个组件是不是 broker,问自己三个问题: - **它在中间吗?** 至少连接两方(生产者 / 消费者、客户端 / 服务端、调用方 / 被调方),自己不产生业务数据。 - **它在转与调解吗?** 接受、路由、排队、投递,必要时转换格式、校验权限、限流重试。 - **双方是不是只认识它?** 生产者只知道 broker 的地址,不知道消费者是谁——**这正是「解耦」的来源**。 反过来,下面这些角色**不是** broker:注册中心只登记「谁在哪」,不搬数据;负载均衡器一次转发就完事,不排队不存储;网关负责入口收敛与协议转换。它们常和 broker 一起出现,但职责边界不同。 ===== 2. 核心职责(以消息 broker 为骨架) ===== ^ 动作 ^ 说明 ^ | 接受 accept | 建立连接、鉴权、接收 publish / send | | 存储 store | 内存或磁盘排队,必要时持久化,宕机不丢 | | 路由 route | 按 exchange / routing key / topic / tag / partition 决定去向 | | 投递 deliver | 推给订阅者(push)或等消费者拉取(pull) | | 确认 ack | 收到消费者确认后才删除;未确认则重投或进死信队列 | | 扩展(可选) | 过滤、格式转换、优先级、延时、事务、历史回放、限流、审计 | 一句话概括这套职责:**broker 是消息的「邮局 + 分拣中心 + 存件柜」。** ===== 3. 各领域的 broker 速览 ===== ^ 领域 ^ 常见名称 ^ 它夹在谁中间 ^ 典型产品 / 实现 ^ | 消息中间件 | Message Broker | 生产者 ⇄ 消费者 | RabbitMQ、ActiveMQ、Azure Service Bus(''BrokeredMessage'')、Solace | | 事件流平台 | Event Broker | 生产者 ⇄ 多个订阅组 | Kafka、Pulsar、Redpanda | | 物联网 | MQTT Broker | 设备 ⇄ 应用平台 | EMQX、Mosquitto、HiveMQ | | 微服务 / 云平台 | Service Broker | 应用 ⇄ 外部服务实例 | Cloud Foundry Service Broker API、K8s Service Catalog | | 身份认证 | Identity / Token Broker | 客户端 ⇄ 多个身份源 | Keycloak 身份代理、企业 SSO 联合登录 | | 数据库 | DB Proxy / Broker | 应用 ⇄ 数据库集群 | ProxySQL、MySQL Router、PgBouncer | | 缓存 | Cache Broker | 应用 ⇄ 分片集群 | Twemproxy、Redis Cluster 代理 | | 前端 / 实时通信 | WebSocket / STOMP Broker | 浏览器 ⇄ 后端服务 | Spring 的 ''SimpleBroker''、Socket.IO adapter | | 金融交易 | FIX Broker | 交易客户端 ⇄ 交易所 | 券商交易网关、FIX Engine | | 数据合规 | Data Broker | 数据买卖双方 | 数据经纪商(隐私法规的重点监管对象) | 可以看到规律:**凡是「一方很多、另一方很多,且不想彼此直连」的地方,就会长出 broker。** ===== 4. 消息 broker 展开:一条消息的旅程 ===== 生产者 --connect / publish--> [ Broker ] ├─ 鉴权、限流 ├─ Exchange / Topic 路由 ├─ Queue / Partition 排队(可持久化) └--push / pull--> 消费者 --ack--> Broker 删除 角色关系(与 [[mq|MQ]] 页面口径一致): * **Producer**:只认 broker 地址,不关心有几个消费者。 * **Broker**:服务端那个实体——RabbitMQ 的 broker 指**整个服务端进程**。 * **Consumer**:只从 broker 取,不关心生产者是谁。 * **Queue / Topic / Partition**:broker **内部**的容器,不是 broker 本身。**这是最容易说混的一点。** > **MQ 与 broker 的关系**:MQ 是「一类中间件」的统称,broker 是「这个中间件的服务端实体」。说「起一个 MQ」,约等于说「起一个 broker」。 Kafka 里还有一层额外含义:**一个 Kafka 集群由多个 broker 节点组成**,其中一台兼任 controller(KRaft 模式下由仲裁选出),分区副本分散在不同 broker 上——此时 broker 是**节点**量词,而不是「整个中间件」。产品、端口与可靠性要点见 [[mq|MQ(消息队列)]]。 ===== 5. Message Broker 与 Event Broker 的区别 ===== ^ 对比 ^ Message Broker ^ Event Broker ^ | 心智模型 | 指令:去做这件事 | 事实:这件事发生了 | | 消费之后 | 通常删除,一条消息只给一个消费者 | 事件是日志,可保留、可回放、可多组独立消费 | | 耦合程度 | 生产者知道「要谁做」 | 生产者不知道谁在听 | | 典型产品 | RabbitMQ、ActiveMQ | Kafka、Pulsar | | 语义重心 | 队列语义,强调投递保证 | 流语义,强调顺序与重放 | 两者常由同一产品承担,但**设计取舍不同**:把「命令」塞进事件流,或把「事件」当成点对点任务,都是常见的架构跑偏。 ===== 6. 有 broker 与无 broker ===== * **有 broker(brokered)**:结构简单、双方解耦、天生支持多消费者、能持久化与削峰。代价是多一跳延迟、多一个要运维和扩容的组件、可能成为单点或瓶颈。 * **无 broker(brokerless)**:ZeroMQ、直连 gRPC、P2P 模式。延迟更低、没有中心组件,但**地址发现、重试、持久化、多消费者分发**都得应用自己扛。 * **托管 broker**:云上的 SQS / SNS、云 RocketMQ、Confluent Cloud 等,把运维交出去,代价是成本与厂商绑定。 选型只需问一句:**需不需要「第三方替你把消息存住并分发出去」**。需要就上 broker;不需要就别为了架构图好看而引入。 ===== 7. 易混淆对照 ===== ^ 对比 ^ 区别 ^ | broker vs **proxy(代理)** | proxy 强调「替你发出请求」,多为透明转发;broker 强调「居间撮合 + 排队 + 路由」,通常有状态 | | broker vs **gateway(网关)** | 网关是系统入口,做鉴权、限流、协议转换,一般面向外部;broker 在系统内部横向连接服务 | | broker vs **registry(注册中心)** | 注册中心只登记「谁在哪」,不搬运业务数据;broker 直接搬数据 | | broker vs **load balancer** | LB 一次转发即完成,通常不存储;broker 会排队、缓冲、重投 | | broker vs **queue** | queue 是 broker **内部**的容器;broker 是装这些容器的服务端 | | broker vs **middleware** | middleware 是大类,broker 是其中承担转发职责的那个具体角色 | | broker vs **agent** | agent 是部署到目标机上「盯着/采集」的进程,通常主动上报;broker 是被动等连接的中转站 | | broker vs **mediator** | mediator 是设计模式里的对象解耦,理念一致,但 broker 特指可独立部署的中间件服务 | | broker vs **bus(消息总线)** | 总线强调「一条共享线路」的拓扑,broker 强调「一个居间实体」;ESB 就是集中式 broker 思路的产物 | | broker vs **Kerberos** | 拼写相近、毫无关系。Kerberos 是认证**协议**,broker 是**转发角色** | ===== 8. 常见坑速查 ===== ^ 现象 ^ 原因 ^ 处理方向 ^ | broker 一挂全站哑火 | broker 成了单点 | 集群化 + 副本(Kafka 副本数 ≥ 3,RabbitMQ 仲裁队列) | | 消息堆到几百万条 | 消费能力不足或消费者全挂 | 扩消费者、加分区,告警「队列长度 + 消费延迟」 | | 重启后消息全没了 | 队列未 durable 或消息未持久化 | ''durable=true'' + ''delivery_mode=2'';Kafka 用 ''acks=all'' | | 同一条消息被处理多次 | at-least-once 语义 | 消费端按唯一业务 ID [[代码术语:幂等|幂等]] 去重 | | 顺序错乱 | 多分区 / 多消费者并行 | 同一业务键落到同一 partition,单分区内才有序 | | 失败消息堵死队列 | 无重试上限与死信队列 | 设重试次数 + DLQ,隔离出来人工排查 | | 升级后客户端连不上 | 协议或认证方式变更(MQTT 5 属性、SASL 等) | 固定协议版本、灰度升级,客户端与 broker 版本对齐 | | 事件流里放「命令」 | 语义混用 | 命令走队列、事件走流,分开设计 | | 日志里打印完整消息 | payload 含敏感数据 | 脱敏 + 截断,见 [[代码术语:payload|payload]] | | 中间组件改了消息导致验签失败 | broker / 网关改动了原始字节 | 签名覆盖原始字节,或让 broker 只做透传 | ===== 9. 30 秒自测 ===== - broker 和 queue,哪个是「服务端」?→ **broker**,queue 只是它内部的容器 - broker 和注册中心的核心差别?→ **注册中心只记地址,broker 要搬数据** - RabbitMQ 的 broker 指什么?→ **服务端进程本身** - Kafka 的 broker 指什么?→ **集群里的一个节点** - 为什么需要 broker?→ **解耦、削峰缓冲、多消费者分发、持久化与重放** - 什么时候不需要 broker?→ **关系简单、延迟极敏感、不想多一个运维组件时(ZeroMQ、直连 gRPC)** - Kerberos 和 broker 有关系吗?→ **没有,只是拼写像** ===== 10. 一句话总结 ===== > **broker 就是软件世界里的「中介 / 券商」:它既不生产也不消费业务数据,只负责把一方的托付接住、按规矩送到该去的地方、并确认送达。判断一个组件是不是 broker,只要问一句——它自己产生数据吗?还是只替别人转?** 相关:[[mq|MQ(消息队列)]] · [[代码术语:payload|payload(有效载荷)]] · [[代码术语:幂等|幂等]] ---- 返回:[[代码术语]] ```mdk height=640 color=#10b981 # broker(代理 / 中间人) ## 一句话定义 ### 站在两方之间牵线搭桥的中间服务 ### 不生产业务数据,也不是终极消费者 ### 词源:古法语 brocour,替别人做买卖的人 ### 金融里的「券商」就是同一个词 ## 三个判据 ### 在中间:至少连接两方 ### 做转发与调解:接、路由、排队、投递 ### 双方只认识它,不认识彼此 ### 反例:注册中心、LB、网关都不是 broker ## 核心职责 ### 接受:连接、鉴权、收消息 ### 存储:排队、持久化、宕机不丢 ### 路由:exchange / topic / partition ### 投递:push 或 pull ### 确认:ack 后才删除,未确认重投 ### 扩展:过滤、转换、延时、回放、限流 ### 本质是邮局 + 分拣中心 + 存件柜 ## 各领域速览 ### 消息中间件:RabbitMQ、ActiveMQ ### 事件流平台:Kafka、Pulsar ### 物联网:MQTT Broker(EMQX、Mosquitto) ### 云平台:Service Broker API ### 身份认证:Identity Broker、SSO 联合登录 ### 数据库:ProxySQL、MySQL Router、PgBouncer ### 缓存:Twemproxy、Redis Cluster 代理 ### 实时通信:Spring SimpleBroker、STOMP ### 金融:FIX Broker 交易网关 ### 数据合规:Data Broker 数据经纪商 ## 消息 broker 展开 ### Producer 只认 broker 地址 ### Broker 就是服务端那个实体 ### Queue / Topic 是它内部的容器 ### Kafka 里 broker 是集群节点 ### MQ 是一类中间件,broker 是其服务端 ### 多 broker 集群才有高可用 ## Message Broker vs Event Broker ### 命令语义:去做这件事 ### 事件语义:这件事发生了 ### 消费即删 vs 日志可回放 ### RabbitMQ 一派 vs Kafka 一派 ## 有 broker 与无 broker ### 有:解耦、削峰、多消费者、可持久化 ### 代价:多一跳、多运维、可能成单点 ### 无:ZeroMQ、直连 gRPC,延迟低但要自理 ### 托管:云服务省运维,代价是绑定与成本 ### 分界线:需不需要第三方替你存住并分发 ## 易混淆 ### proxy:透明转发,broker 有状态撮合 ### gateway:面向外部的入口 ### registry:只记地址,不搬数据 ### load balancer:一次转发不排队 ### queue:broker 里面的容器 ### middleware:更大的类别 ### agent:被部署到目标机上主动上报 ### bus:强调共享线路的拓扑 ### Kerberos:拼写相近,毫无关系 ## 常见坑 ### broker 单点,一挂全站哑火 ### 消息堆积,消费能力不足 ### 未持久化,重启即丢 ### 重复投递,需消费端幂等 ### 多分区并行导致顺序错乱 ### 无死信队列,坏消息堵队列 ### 事件流里塞命令,语义跑偏 ### 日志打印完整 payload 泄露敏感信息 ## 记住三点 ### 它自己产生数据吗?还是只替别人转 ### 注册中心记地址,broker 搬数据 ### broker 是服务端实体,queue 只是它的容器 ```