差别
这里会显示出您选择的修订版和当前版本之间的差别。
| 后一修订版 | 前一修订版 | ||
| 代码术语:broker [2026/10/16 12:05] – 创建 张叶安 | 代码术语:broker [2026/10/16 12:07] (当前版本) – 为 broker 词条添加思维导图 张叶安 | ||
|---|---|---|---|
| 行 1: | 行 1: | ||
| - | 1 | + | ====== 一文讲清楚:broker(代理 / 中间人) ====== |
| + | |||
| + | 先给结论:**broker = 站在两方之间、专门替他们牵线搭桥的那个「中间服务」**。它自己不生产业务数据,也不是终极消费者,只负责把一方的请求或消息接过来,按规则送到该去的地方,再把结果带回去。 | ||
| + | |||
| + | 词源:来自古法语 '' | ||
| + | |||
| + | ===== 1. 一个判据看穿所有场景 ===== | ||
| + | |||
| + | 判断一个组件是不是 broker,问自己三个问题: | ||
| + | |||
| + | - **它在中间吗?** 至少连接两方(生产者 / 消费者、客户端 / 服务端、调用方 / 被调方),自己不产生业务数据。 | ||
| + | - **它在转与调解吗?** 接受、路由、排队、投递,必要时转换格式、校验权限、限流重试。 | ||
| + | - **双方是不是只认识它?** 生产者只知道 broker 的地址,不知道消费者是谁——**这正是「解耦」的来源**。 | ||
| + | |||
| + | 反过来,下面这些角色**不是** broker:注册中心只登记「谁在哪」,不搬数据;负载均衡器一次转发就完事,不排队不存储;网关负责入口收敛与协议转换。它们常和 broker 一起出现,但职责边界不同。 | ||
| + | |||
| + | ===== 2. 核心职责(以消息 broker 为骨架) ===== | ||
| + | |||
| + | ^ 动作 ^ 说明 ^ | ||
| + | | 接受 accept | 建立连接、鉴权、接收 publish / send | | ||
| + | | 存储 store | 内存或磁盘排队,必要时持久化,宕机不丢 | | ||
| + | | 路由 route | 按 exchange / routing key / topic / tag / partition 决定去向 | | ||
| + | | 投递 deliver | 推给订阅者(push)或等消费者拉取(pull) | | ||
| + | | 确认 ack | 收到消费者确认后才删除;未确认则重投或进死信队列 | | ||
| + | | 扩展(可选) | 过滤、格式转换、优先级、延时、事务、历史回放、限流、审计 | | ||
| + | |||
| + | 一句话概括这套职责:**broker 是消息的「邮局 + 分拣中心 + 存件柜」。** | ||
| + | |||
| + | ===== 3. 各领域的 broker 速览 ===== | ||
| + | |||
| + | ^ 领域 ^ 常见名称 ^ 它夹在谁中间 ^ 典型产品 / 实现 ^ | ||
| + | | 消息中间件 | Message Broker | 生产者 ⇄ 消费者 | RabbitMQ、ActiveMQ、Azure Service Bus('' | ||
| + | | 事件流平台 | Event Broker | 生产者 ⇄ 多个订阅组 | Kafka、Pulsar、Redpanda | | ||
| + | | 物联网 | MQTT Broker | 设备 ⇄ 应用平台 | EMQX、Mosquitto、HiveMQ | | ||
| + | | 微服务 / 云平台 | Service Broker | 应用 ⇄ 外部服务实例 | Cloud Foundry Service Broker API、K8s Service Catalog | | ||
| + | | 身份认证 | Identity / Token Broker | 客户端 ⇄ 多个身份源 | Keycloak 身份代理、企业 SSO 联合登录 | | ||
| + | | 数据库 | DB Proxy / Broker | 应用 ⇄ 数据库集群 | ProxySQL、MySQL Router、PgBouncer | | ||
| + | | 缓存 | Cache Broker | 应用 ⇄ 分片集群 | Twemproxy、Redis Cluster 代理 | | ||
| + | | 前端 / 实时通信 | WebSocket / STOMP Broker | 浏览器 ⇄ 后端服务 | Spring 的 '' | ||
| + | | 金融交易 | FIX Broker | 交易客户端 ⇄ 交易所 | 券商交易网关、FIX Engine | | ||
| + | | 数据合规 | Data Broker | 数据买卖双方 | 数据经纪商(隐私法规的重点监管对象) | | ||
| + | |||
| + | 可以看到规律:**凡是「一方很多、另一方很多,且不想彼此直连」的地方,就会长出 broker。** | ||
| + | |||
| + | ===== 4. 消息 broker 展开:一条消息的旅程 ===== | ||
| + | |||
| + | < | ||
| + | 生产者 --connect / publish--> | ||
| + | ├─ 鉴权、限流 | ||
| + | ├─ Exchange / Topic 路由 | ||
| + | ├─ Queue / Partition 排队(可持久化) | ||
| + | └--push / pull--> 消费者 --ack--> Broker 删除 | ||
| + | </ | ||
| + | |||
| + | 角色关系(与 [[mq|MQ]] 页面口径一致): | ||
| + | |||
| + | * **Producer**:只认 broker 地址,不关心有几个消费者。 | ||
| + | * **Broker**:服务端那个实体——RabbitMQ 的 broker 指**整个服务端进程**。 | ||
| + | * **Consumer**:只从 broker 取,不关心生产者是谁。 | ||
| + | * **Queue / Topic / Partition**:broker **内部**的容器,不是 broker 本身。**这是最容易说混的一点。** | ||
| + | |||
| + | > **MQ 与 broker 的关系**:MQ 是「一类中间件」的统称,broker 是「这个中间件的服务端实体」。说「起一个 MQ」,约等于说「起一个 broker」。 | ||
| + | |||
| + | Kafka 里还有一层额外含义:**一个 Kafka 集群由多个 broker 节点组成**,其中一台兼任 controller(KRaft 模式下由仲裁选出),分区副本分散在不同 broker 上——此时 broker 是**节点**量词,而不是「整个中间件」。产品、端口与可靠性要点见 [[mq|MQ(消息队列)]]。 | ||
| + | |||
| + | ===== 5. Message Broker 与 Event Broker 的区别 ===== | ||
| + | |||
| + | ^ 对比 ^ Message Broker ^ Event Broker ^ | ||
| + | | 心智模型 | 指令:去做这件事 | 事实:这件事发生了 | | ||
| + | | 消费之后 | 通常删除,一条消息只给一个消费者 | 事件是日志,可保留、可回放、可多组独立消费 | | ||
| + | | 耦合程度 | 生产者知道「要谁做」 | 生产者不知道谁在听 | | ||
| + | | 典型产品 | RabbitMQ、ActiveMQ | Kafka、Pulsar | | ||
| + | | 语义重心 | 队列语义,强调投递保证 | 流语义,强调顺序与重放 | | ||
| + | |||
| + | 两者常由同一产品承担,但**设计取舍不同**:把「命令」塞进事件流,或把「事件」当成点对点任务,都是常见的架构跑偏。 | ||
| + | |||
| + | ===== 6. 有 broker 与无 broker ===== | ||
| + | |||
| + | * **有 broker(brokered)**:结构简单、双方解耦、天生支持多消费者、能持久化与削峰。代价是多一跳延迟、多一个要运维和扩容的组件、可能成为单点或瓶颈。 | ||
| + | * **无 broker(brokerless)**:ZeroMQ、直连 gRPC、P2P 模式。延迟更低、没有中心组件,但**地址发现、重试、持久化、多消费者分发**都得应用自己扛。 | ||
| + | * **托管 broker**:云上的 SQS / SNS、云 RocketMQ、Confluent Cloud 等,把运维交出去,代价是成本与厂商绑定。 | ||
| + | |||
| + | 选型只需问一句:**需不需要「第三方替你把消息存住并分发出去」**。需要就上 broker;不需要就别为了架构图好看而引入。 | ||
| + | |||
| + | ===== 7. 易混淆对照 ===== | ||
| + | |||
| + | ^ 对比 ^ 区别 ^ | ||
| + | | broker vs **proxy(代理)** | proxy 强调「替你发出请求」,多为透明转发;broker 强调「居间撮合 + 排队 + 路由」,通常有状态 | | ||
| + | | broker vs **gateway(网关)** | 网关是系统入口,做鉴权、限流、协议转换,一般面向外部;broker 在系统内部横向连接服务 | | ||
| + | | broker vs **registry(注册中心)** | 注册中心只登记「谁在哪」,不搬运业务数据;broker 直接搬数据 | | ||
| + | | broker vs **load balancer** | LB 一次转发即完成,通常不存储;broker 会排队、缓冲、重投 | | ||
| + | | broker vs **queue** | queue 是 broker **内部**的容器;broker 是装这些容器的服务端 | | ||
| + | | broker vs **middleware** | middleware 是大类,broker 是其中承担转发职责的那个具体角色 | | ||
| + | | broker vs **agent** | agent 是部署到目标机上「盯着/ | ||
| + | | broker vs **mediator** | mediator 是设计模式里的对象解耦,理念一致,但 broker 特指可独立部署的中间件服务 | | ||
| + | | broker vs **bus(消息总线)** | 总线强调「一条共享线路」的拓扑,broker 强调「一个居间实体」;ESB 就是集中式 broker 思路的产物 | | ||
| + | | broker vs **Kerberos** | 拼写相近、毫无关系。Kerberos 是认证**协议**,broker 是**转发角色** | | ||
| + | |||
| + | ===== 8. 常见坑速查 ===== | ||
| + | |||
| + | ^ 现象 ^ 原因 ^ 处理方向 ^ | ||
| + | | broker 一挂全站哑火 | broker 成了单点 | 集群化 + 副本(Kafka 副本数 ≥ 3,RabbitMQ 仲裁队列) | | ||
| + | | 消息堆到几百万条 | 消费能力不足或消费者全挂 | 扩消费者、加分区,告警「队列长度 + 消费延迟」 | | ||
| + | | 重启后消息全没了 | 队列未 durable 或消息未持久化 | '' | ||
| + | | 同一条消息被处理多次 | at-least-once 语义 | 消费端按唯一业务 ID [[代码术语: | ||
| + | | 顺序错乱 | 多分区 / 多消费者并行 | 同一业务键落到同一 partition,单分区内才有序 | | ||
| + | | 失败消息堵死队列 | 无重试上限与死信队列 | 设重试次数 + DLQ,隔离出来人工排查 | | ||
| + | | 升级后客户端连不上 | 协议或认证方式变更(MQTT 5 属性、SASL 等) | 固定协议版本、灰度升级,客户端与 broker 版本对齐 | | ||
| + | | 事件流里放「命令」 | 语义混用 | 命令走队列、事件走流,分开设计 | | ||
| + | | 日志里打印完整消息 | payload 含敏感数据 | 脱敏 + 截断,见 [[代码术语: | ||
| + | | 中间组件改了消息导致验签失败 | broker / 网关改动了原始字节 | 签名覆盖原始字节,或让 broker 只做透传 | | ||
| + | |||
| + | ===== 9. 30 秒自测 ===== | ||
| + | |||
| + | - broker 和 queue,哪个是「服务端」?→ **broker**,queue 只是它内部的容器 | ||
| + | - broker 和注册中心的核心差别?→ **注册中心只记地址,broker 要搬数据** | ||
| + | - RabbitMQ 的 broker 指什么?→ **服务端进程本身** | ||
| + | - Kafka 的 broker 指什么?→ **集群里的一个节点** | ||
| + | - 为什么需要 broker?→ **解耦、削峰缓冲、多消费者分发、持久化与重放** | ||
| + | - 什么时候不需要 broker?→ **关系简单、延迟极敏感、不想多一个运维组件时(ZeroMQ、直连 gRPC)** | ||
| + | - Kerberos 和 broker 有关系吗?→ **没有,只是拼写像** | ||
| + | |||
| + | ===== 10. 一句话总结 ===== | ||
| + | |||
| + | > **broker 就是软件世界里的「中介 / 券商」:它既不生产也不消费业务数据,只负责把一方的托付接住、按规矩送到该去的地方、并确认送达。判断一个组件是不是 broker,只要问一句——它自己产生数据吗?还是只替别人转?** | ||
| + | |||
| + | 相关:[[mq|MQ(消息队列)]] · [[代码术语: | ||
| + | |||
| + | ---- | ||
| + | |||
| + | 返回:[[代码术语]] | ||
| + | |||
| + | ```mdk height=640 color=# | ||
| + | # broker(代理 / 中间人) | ||
| + | |||
| + | ## 一句话定义 | ||
| + | ### 站在两方之间牵线搭桥的中间服务 | ||
| + | ### 不生产业务数据,也不是终极消费者 | ||
| + | ### 词源:古法语 brocour,替别人做买卖的人 | ||
| + | ### 金融里的「券商」就是同一个词 | ||
| + | |||
| + | ## 三个判据 | ||
| + | ### 在中间:至少连接两方 | ||
| + | ### 做转发与调解:接、路由、排队、投递 | ||
| + | ### 双方只认识它,不认识彼此 | ||
| + | ### 反例:注册中心、LB、网关都不是 broker | ||
| + | |||
| + | ## 核心职责 | ||
| + | ### 接受:连接、鉴权、收消息 | ||
| + | ### 存储:排队、持久化、宕机不丢 | ||
| + | ### 路由:exchange / topic / partition | ||
| + | ### 投递:push 或 pull | ||
| + | ### 确认:ack 后才删除,未确认重投 | ||
| + | ### 扩展:过滤、转换、延时、回放、限流 | ||
| + | ### 本质是邮局 + 分拣中心 + 存件柜 | ||
| + | |||
| + | ## 各领域速览 | ||
| + | ### 消息中间件:RabbitMQ、ActiveMQ | ||
| + | ### 事件流平台:Kafka、Pulsar | ||
| + | ### 物联网:MQTT Broker(EMQX、Mosquitto) | ||
| + | ### 云平台:Service Broker API | ||
| + | ### 身份认证:Identity Broker、SSO 联合登录 | ||
| + | ### 数据库:ProxySQL、MySQL Router、PgBouncer | ||
| + | ### 缓存:Twemproxy、Redis Cluster 代理 | ||
| + | ### 实时通信:Spring SimpleBroker、STOMP | ||
| + | ### 金融:FIX Broker 交易网关 | ||
| + | ### 数据合规:Data Broker 数据经纪商 | ||
| + | |||
| + | ## 消息 broker 展开 | ||
| + | ### Producer 只认 broker 地址 | ||
| + | ### Broker 就是服务端那个实体 | ||
| + | ### Queue / Topic 是它内部的容器 | ||
| + | ### Kafka 里 broker 是集群节点 | ||
| + | ### MQ 是一类中间件,broker 是其服务端 | ||
| + | ### 多 broker 集群才有高可用 | ||
| + | |||
| + | ## Message Broker vs Event Broker | ||
| + | ### 命令语义:去做这件事 | ||
| + | ### 事件语义:这件事发生了 | ||
| + | ### 消费即删 vs 日志可回放 | ||
| + | ### RabbitMQ 一派 vs Kafka 一派 | ||
| + | |||
| + | ## 有 broker 与无 broker | ||
| + | ### 有:解耦、削峰、多消费者、可持久化 | ||
| + | ### 代价:多一跳、多运维、可能成单点 | ||
| + | ### 无:ZeroMQ、直连 gRPC,延迟低但要自理 | ||
| + | ### 托管:云服务省运维,代价是绑定与成本 | ||
| + | ### 分界线:需不需要第三方替你存住并分发 | ||
| + | |||
| + | ## 易混淆 | ||
| + | ### proxy:透明转发,broker 有状态撮合 | ||
| + | ### gateway:面向外部的入口 | ||
| + | ### registry:只记地址,不搬数据 | ||
| + | ### load balancer:一次转发不排队 | ||
| + | ### queue:broker 里面的容器 | ||
| + | ### middleware:更大的类别 | ||
| + | ### agent:被部署到目标机上主动上报 | ||
| + | ### bus:强调共享线路的拓扑 | ||
| + | ### Kerberos:拼写相近,毫无关系 | ||
| + | |||
| + | ## 常见坑 | ||
| + | ### broker 单点,一挂全站哑火 | ||
| + | ### 消息堆积,消费能力不足 | ||
| + | ### 未持久化,重启即丢 | ||
| + | ### 重复投递,需消费端幂等 | ||
| + | ### 多分区并行导致顺序错乱 | ||
| + | ### 无死信队列,坏消息堵队列 | ||
| + | ### 事件流里塞命令,语义跑偏 | ||
| + | ### 日志打印完整 payload 泄露敏感信息 | ||
| + | |||
| + | ## 记住三点 | ||
| + | ### 它自己产生数据吗?还是只替别人转 | ||
| + | ### 注册中心记地址,broker 搬数据 | ||
| + | ### broker 是服务端实体,queue 只是它的容器 | ||
| + | ``` | ||