MQ(消息队列)
一句话:MQ 是在多个服务之间转发消息的独立中间件,把「谁发消息」和「谁处理消息」拆开。
# MQ 消息队列 ## 是什么 ### 独立运行的中间件,专门收发消息 ### 把「谁发」和「谁处理」拆开 ### 解决四个问题 - 解耦:双方互不感知 - 异步:先返回,后处理 - 削峰填谷:兜住突发流量 - 广播:一个事件多方订阅 ### 代价 - 复杂度上升 - 消息可能重复 / 丢失 / 乱序 - 一致性变弱,只能最终一致 ## 核心角色 - Producer 生产者 - Broker 消息代理(MQ 服务端) - Consumer 消费者 - Queue / Topic 消息容器 - Message 消息本体 ## 两种消息模型 ### 点对点 Queue - 一条消息只被一个消费者拿到 - 适合分发任务、削峰 ### 发布订阅 Topic - 一条消息多个订阅者各得一份 - 适合事件通知 ### 投递语义 - at-most-once 最多一次,可能丢 - at-least-once 至少一次,可能重 - exactly-once 精确一次,靠幂等等效实现 ## 常用产品 ### RabbitMQ:Exchange 按 routing key 路由,最灵活 ### Kafka:Partition + Consumer Group,高吞吐可回溯 ### RocketMQ:事务消息、延时消息 ### Redis Stream:轻量,不想加中间件时可用 ## 服务器之间怎么对话 ### 同步调用 - HTTP / REST / gRPC / Dubbo - 直连、强依赖、有返回值 - 适合查询和强一致流程 ### 异步消息 - 双方都只连 Broker - 时间解耦,对方宕机也不丢消息 - 无返回值,需要回执得另设队列 - 适合通知、事件、耗时任务 ## 怎么用:接入五步 - 部署 Broker,拿地址、端口、账号 - 引入客户端依赖 - 建立连接与通道 - 生产者声明队列或 topic 后 publish - 消费者订阅并处理完 ack ## 可靠性要点 - 持久化:durable + delivery_mode=2 - ACK 确认:处理成功才确认 - 重试与死信队列 DLQ - 消费端幂等:唯一业务 ID 去重 - 顺序:Kafka 同 partition 内有序 - 监控:队列长度与消费延迟 ## 端口速记 - RabbitMQ 5672 / 15672 管理台 - Kafka 9092 - RocketMQ 9876 NameServer - ActiveMQ 61616
一、MQ 是什么
MQ = Message Queue,消息队列。它是一个独立运行的中间件服务,夹在多个应用(服务器)中间,专门负责收发消息——相当于在服务之间放了一个邮局。
没有 MQ 时,A 服务调用 B 服务必须当场发出、当场等结果(HTTP / RPC)。有了 MQ,A 只把消息投进队列就可以返回,B 什么时候处理、开几个进程处理,A 完全不需要知道。
| 角色 | 说明 |
|---|---|
| Producer 生产者 | 发消息的一方 |
| Broker 代理 | MQ 服务端本身,负责存消息、转发消息 |
| Consumer 消费者 | 取消息、执行具体业务逻辑的一方 |
| Queue / Topic | 消息的存放容器 |
| Message | 消息本体,一般含 body 与 headers / tag / routing key |
它解决的四个经典问题:
- 解耦:A 不需要知道 B 的地址与接口,只认消息格式。
- 异步:下单后立即返回「已受理」,发短信、加积分、写报表交给 MQ 慢慢做。
- 削峰填谷:秒杀瞬间涌入十万请求,先由 MQ 兜住,消费者按自己的能力消费。
- 广播 / 事件驱动:一条「订单已支付」事件,库存、物流、风控、数仓都可以订阅。
代价也要清楚:系统复杂度上升;消息可能重复、丢失或乱序;一致性从强一致退化为最终一致;以及额外的运维成本。
二、两种消息模型
1. 点对点(Queue)——任务队列
一条消息只能被一个消费者取走,处理完即删除。适合分发任务、削峰。
2. 发布订阅(Topic)——事件广播
一条消息可以被多个订阅者各收到一份。适合事件通知。
各产品的具体实现不太一样:
- RabbitMQ:Producer → Exchange(direct / topic / fanout / headers)→ 按 routing key 路由到 Queue → Consumer,路由最灵活。
- Kafka:Topic 分为多个 Partition,消费者按 Consumer Group 组内均分、组间各得一份;消息是追加日志,可按 offset 重复消费、回溯。
- RocketMQ:Topic → Queue,支持 tag 过滤、事务消息、延时消息。详见 RocketMQ 使用与接入教程(4.x / 5.x)
- Redis:List 做简易队列,Stream 做带消费组的高级队列,轻量但可靠性较弱。
投递语义(务必分清):
at-most-once最多一次:可能丢消息。at-least-once至少一次:可能重复,最常用,靠消费端幂等兜底。exactly-once精确一次:端到端很难,通常用「至少一次 + 幂等」达到等效效果。
三、服务器之间怎么「对话」
服务间通信只有两大类,MQ 属于第二类:
| 对比项 | 同步调用 | 异步消息 |
|---|---|---|
| 代表 | HTTP / REST、gRPC、Dubbo | RabbitMQ、Kafka、RocketMQ |
| 连接方式 | 调用方直连被调方 | 双方都只连 Broker |
| 时序 | 强依赖,对方挂了就报错 | 时间解耦,消息先攒着 |
| 返回值 | 有(请求—响应) | 无,需要回执得另设队列 |
| 适用场景 | 查询、强一致流程 | 通知、事件、耗时任务、削峰 |
消息在服务之间的实际路径:
服务A --(connect + publish)--> [ Broker: Exchange/Topic -> Queue ] --(subscribe + consume)--> 服务B
└--(subscribe + consume)--> 服务C
对话的「语法」由消息格式(JSON / Protobuf / Avro)和路由规则(routing key、topic 名、tag)约定。只要双方遵守这个契约,各服务的代码就能独立部署、独立升级、独立重启。
四、常用产品与选型
| 产品 | 特点 | 适合场景 |
|---|---|---|
| RabbitMQ | AMQP 协议,Exchange 路由灵活,生态成熟 | 业务解耦、路由复杂、量中等 |
| Kafka | 高吞吐、分区并行、可回溯 | 日志、埋点、流式处理、大数据管道 |
| RocketMQ | 事务消息、延时消息、电商交易经验 | 交易、订单、需要事务消息 |
| Redis Stream / List | 部署简单、极轻量 | 本地解耦、小规模任务队列 |
五、怎么用:接入五步
- 启动 / 部署 Broker(或购买云服务),拿到地址、端口、账号、vhost。
- 生产者和消费者分别引入对应的客户端依赖。
- 建立连接与通道(Channel / Producer / Consumer 实例)。
- 生产者声明队列或 topic,然后 publish 消息。
- 消费者订阅队列,编写回调处理函数,处理成功后 ack。
以 RabbitMQ 为例(Python + pika):
# ---------- 生产者 ---------- import pika, json conn = pika.BlockingConnection(pika.ConnectionParameters( "192.168.1.10", 5672, credentials=pika.PlainCredentials("app", "secret"))) ch = conn.channel() # 声明持久化队列 ch.queue_declare(queue="order.paid", durable=True) ch.basic_publish( exchange="", # 默认 exchange routing_key="order.paid", body=json.dumps({"orderId": "A1001", "amount": 99.5}), properties=pika.BasicProperties(delivery_mode=2)) # 消息持久化 conn.close()
# ---------- 消费者 ---------- import pika, json def handle(ch, method, props, body): data = json.loads(body) try: send_sms(data["orderId"]) # 业务处理 ch.basic_ack(delivery_tag=method.delivery_tag) # 成功才 ack except Exception: # 处理失败,不重回队列,交给死信队列人工排查 ch.basic_nack(delivery_tag=method.delivery_tag, requeue=False) conn = pika.BlockingConnection(pika.ConnectionParameters( "192.168.1.10", 5672, credentials=pika.PlainCredentials("app", "secret"))) ch = conn.channel() ch.queue_declare(queue="order.paid", durable=True) ch.basic_qos(prefetch_count=10) # 一次最多预取 10 条,避免单个消费者被撑死 ch.basic_consume(queue="order.paid", on_message_callback=handle) ch.start_consuming()
六、可靠性要点
- 持久化:RabbitMQ 用
durable队列 +delivery_mode=2消息;Kafka 用acks=all+ 副本数 ≥ 3。 - 确认机制:消费者处理成功才 ack;失败则重试或转死信。
- 重试与死信队列(DLQ):反复失败的消息隔离出来,避免无限重投堵塞队列。
- 幂等:消费端用唯一业务 ID 去重(Redis set / 数据库唯一索引),这是应对「至少一次」的标准手段。
- 顺序:Kafka 同一 partition 内有序;RabbitMQ 需要单队列单消费者才有顺序保证。
- 监控:队列长度(堆积)与消费延迟是最重要的两个指标,配合死信数量告警。
七、端口速记
| 产品 | 端口 |
|---|---|
| RabbitMQ | 5672(AMQP)、15672(管理台) |
| Kafka | 9092 |
| RocketMQ | 9876(NameServer) |
| ActiveMQ | 61616 |