差别
这里会显示出您选择的修订版和当前版本之间的差别。
| 两侧同时换到之前的修订记录 前一修订版 后一修订版 | 前一修订版 | ||
| mq [2026/10/16 10:13] – 为 mq 页面添加 MQ 知识思维导图 张叶安 | mq [2026/10/16 12:57] (当前版本) – 在常用产品一节补上 RocketMQ 教程页链接 张叶安 | ||
|---|---|---|---|
| 行 1: | 行 1: | ||
| - | 1 | + | ====== MQ(消息队列)====== |
| + | |||
| + | 一句话:MQ 是在多个服务之间转发消息的**独立中间件**,把「谁发消息」和「谁处理消息」拆开。 | ||
| ```mdk height=480 color=# | ```mdk height=480 color=# | ||
| 行 66: | 行 68: | ||
| - ActiveMQ 61616 | - ActiveMQ 61616 | ||
| ``` | ``` | ||
| + | |||
| + | ===== 一、MQ 是什么 ===== | ||
| + | |||
| + | MQ = **Message Queue,消息队列**。它是一个独立运行的中间件服务,夹在多个应用(服务器)中间,专门负责收发消息——相当于在服务之间放了一个**邮局**。 | ||
| + | |||
| + | 没有 MQ 时,A 服务调用 B 服务必须**当场**发出、**当场**等结果(HTTP / RPC)。有了 MQ,A 只把消息投进队列就可以返回,B 什么时候处理、开几个进程处理,A 完全不需要知道。 | ||
| + | |||
| + | ^ 角色 ^ 说明 ^ | ||
| + | | Producer 生产者 | 发消息的一方 | | ||
| + | | Broker 代理 | MQ 服务端本身,负责存消息、转发消息 | | ||
| + | | Consumer 消费者 | 取消息、执行具体业务逻辑的一方 | | ||
| + | | Queue / Topic | 消息的存放容器 | | ||
| + | | Message | 消息本体,一般含 body 与 headers / tag / routing key | | ||
| + | |||
| + | 它解决的四个经典问题: | ||
| + | |||
| + | * **解耦**:A 不需要知道 B 的地址与接口,只认消息格式。 | ||
| + | * **异步**:下单后立即返回「已受理」,发短信、加积分、写报表交给 MQ 慢慢做。 | ||
| + | * **削峰填谷**:秒杀瞬间涌入十万请求,先由 MQ 兜住,消费者按自己的能力消费。 | ||
| + | * **广播 / 事件驱动**:一条「订单已支付」事件,库存、物流、风控、数仓都可以订阅。 | ||
| + | |||
| + | 代价也要清楚:系统复杂度上升;消息可能重复、丢失或乱序;一致性从强一致退化为**最终一致**;以及额外的运维成本。 | ||
| + | |||
| + | ===== 二、两种消息模型 ===== | ||
| + | |||
| + | **1. 点对点(Queue)——任务队列** | ||
| + | |||
| + | 一条消息只能被一个消费者取走,处理完即删除。适合分发任务、削峰。 | ||
| + | |||
| + | **2. 发布订阅(Topic)——事件广播** | ||
| + | |||
| + | 一条消息可以被多个订阅者各收到一份。适合事件通知。 | ||
| + | |||
| + | 各产品的具体实现不太一样: | ||
| + | |||
| + | * **RabbitMQ**:Producer → **Exchange**(direct / topic / fanout / headers)→ 按 routing key 路由到 Queue → Consumer,路由最灵活。 | ||
| + | * **Kafka**:Topic 分为多个 **Partition**,消费者按 **Consumer Group** 组内均分、组间各得一份;消息是追加日志,可按 offset 重复消费、回溯。 | ||
| + | * **RocketMQ**:Topic → Queue,支持 tag 过滤、事务消息、延时消息。详见 [[rocketmq|RocketMQ 使用与接入教程(4.x / 5.x)]] | ||
| + | * **Redis**:List 做简易队列,Stream 做带消费组的高级队列,轻量但可靠性较弱。 | ||
| + | |||
| + | **投递语义**(务必分清): | ||
| + | |||
| + | * '' | ||
| + | * '' | ||
| + | * '' | ||
| + | |||
| + | ===== 三、服务器之间怎么「对话」 ===== | ||
| + | |||
| + | 服务间通信只有两大类,MQ 属于第二类: | ||
| + | |||
| + | ^ 对比项 ^ 同步调用 ^ 异步消息 ^ | ||
| + | | 代表 | HTTP / REST、gRPC、Dubbo | RabbitMQ、Kafka、RocketMQ | | ||
| + | | 连接方式 | 调用方直连被调方 | 双方都只连 Broker | | ||
| + | | 时序 | 强依赖,对方挂了就报错 | 时间解耦,消息先攒着 | | ||
| + | | 返回值 | 有(请求—响应) | 无,需要回执得另设队列 | | ||
| + | | 适用场景 | 查询、强一致流程 | 通知、事件、耗时任务、削峰 | | ||
| + | |||
| + | 消息在服务之间的实际路径: | ||
| + | |||
| + | < | ||
| + | 服务A --(connect + publish)--> | ||
| + | └--(subscribe + consume)--> | ||
| + | </ | ||
| + | |||
| + | 对话的「语法」由**消息格式**(JSON / Protobuf / Avro)和**路由规则**(routing key、topic 名、tag)约定。只要双方遵守这个契约,各服务的代码就能独立部署、独立升级、独立重启。 | ||
| + | |||
| + | ===== 四、常用产品与选型 ===== | ||
| + | |||
| + | ^ 产品 ^ 特点 ^ 适合场景 ^ | ||
| + | | RabbitMQ | AMQP 协议,Exchange 路由灵活,生态成熟 | 业务解耦、路由复杂、量中等 | | ||
| + | | Kafka | 高吞吐、分区并行、可回溯 | 日志、埋点、流式处理、大数据管道 | | ||
| + | | RocketMQ | 事务消息、延时消息、电商交易经验 | 交易、订单、需要事务消息 | | ||
| + | | Redis Stream / List | 部署简单、极轻量 | 本地解耦、小规模任务队列 | | ||
| + | |||
| + | ===== 五、怎么用:接入五步 ===== | ||
| + | |||
| + | - 启动 / 部署 Broker(或购买云服务),拿到地址、端口、账号、vhost。 | ||
| + | - 生产者和消费者分别引入对应的客户端依赖。 | ||
| + | - 建立连接与通道(Channel / Producer / Consumer 实例)。 | ||
| + | - 生产者声明队列或 topic,然后 publish 消息。 | ||
| + | - 消费者订阅队列,编写回调处理函数,处理成功后 **ack**。 | ||
| + | |||
| + | 以 RabbitMQ 为例(Python + pika): | ||
| + | |||
| + | <code python> | ||
| + | # ---------- 生产者 ---------- | ||
| + | import pika, json | ||
| + | |||
| + | conn = pika.BlockingConnection(pika.ConnectionParameters( | ||
| + | " | ||
| + | credentials=pika.PlainCredentials(" | ||
| + | ch = conn.channel() | ||
| + | |||
| + | # 声明持久化队列 | ||
| + | ch.queue_declare(queue=" | ||
| + | |||
| + | ch.basic_publish( | ||
| + | exchange="", | ||
| + | routing_key=" | ||
| + | body=json.dumps({" | ||
| + | properties=pika.BasicProperties(delivery_mode=2)) | ||
| + | |||
| + | conn.close() | ||
| + | </ | ||
| + | |||
| + | <code python> | ||
| + | # ---------- 消费者 ---------- | ||
| + | import pika, json | ||
| + | |||
| + | def handle(ch, method, props, body): | ||
| + | data = json.loads(body) | ||
| + | try: | ||
| + | send_sms(data[" | ||
| + | ch.basic_ack(delivery_tag=method.delivery_tag) | ||
| + | except Exception: | ||
| + | # 处理失败,不重回队列,交给死信队列人工排查 | ||
| + | ch.basic_nack(delivery_tag=method.delivery_tag, | ||
| + | |||
| + | conn = pika.BlockingConnection(pika.ConnectionParameters( | ||
| + | " | ||
| + | credentials=pika.PlainCredentials(" | ||
| + | ch = conn.channel() | ||
| + | ch.queue_declare(queue=" | ||
| + | ch.basic_qos(prefetch_count=10) | ||
| + | ch.basic_consume(queue=" | ||
| + | ch.start_consuming() | ||
| + | </ | ||
| + | |||
| + | ===== 六、可靠性要点 ===== | ||
| + | |||
| + | * **持久化**:RabbitMQ 用 '' | ||
| + | * **确认机制**:消费者处理成功才 ack;失败则重试或转死信。 | ||
| + | * **重试与死信队列(DLQ)**:反复失败的消息隔离出来,避免无限重投堵塞队列。 | ||
| + | * **幂等**:消费端用唯一业务 ID 去重(Redis set / 数据库唯一索引),这是应对「至少一次」的标准手段。 | ||
| + | * **顺序**:Kafka 同一 partition 内有序;RabbitMQ 需要单队列单消费者才有顺序保证。 | ||
| + | * **监控**:队列长度(堆积)与消费延迟是最重要的两个指标,配合死信数量告警。 | ||
| + | |||
| + | ===== 七、端口速记 ===== | ||
| + | |||
| + | ^ 产品 ^ 端口 ^ | ||
| + | | RabbitMQ | 5672(AMQP)、15672(管理台) | | ||
| + | | Kafka | 9092 | | ||
| + | | RocketMQ | 9876(NameServer) | | ||
| + | | ActiveMQ | 61616 | | ||