目录

MQ(消息队列)

一句话:MQ 是在多个服务之间转发消息的独立中间件,把「谁发消息」和「谁处理消息」拆开。

# MQ 消息队列
## 是什么
### 独立运行的中间件,专门收发消息
### 把「谁发」和「谁处理」拆开
### 解决四个问题
- 解耦:双方互不感知
- 异步:先返回,后处理
- 削峰填谷:兜住突发流量
- 广播:一个事件多方订阅
### 代价
- 复杂度上升
- 消息可能重复 / 丢失 / 乱序
- 一致性变弱,只能最终一致
## 核心角色
- Producer 生产者
- Broker 消息代理(MQ 服务端)
- Consumer 消费者
- Queue / Topic 消息容器
- Message 消息本体
## 两种消息模型
### 点对点 Queue
- 一条消息只被一个消费者拿到
- 适合分发任务、削峰
### 发布订阅 Topic
- 一条消息多个订阅者各得一份
- 适合事件通知
### 投递语义
- at-most-once 最多一次,可能丢
- at-least-once 至少一次,可能重
- exactly-once 精确一次,靠幂等等效实现
## 常用产品
### RabbitMQ:Exchange 按 routing key 路由,最灵活
### Kafka:Partition + Consumer Group,高吞吐可回溯
### RocketMQ:事务消息、延时消息
### Redis Stream:轻量,不想加中间件时可用
## 服务器之间怎么对话
### 同步调用
- HTTP / REST / gRPC / Dubbo
- 直连、强依赖、有返回值
- 适合查询和强一致流程
### 异步消息
- 双方都只连 Broker
- 时间解耦,对方宕机也不丢消息
- 无返回值,需要回执得另设队列
- 适合通知、事件、耗时任务
## 怎么用:接入五步
- 部署 Broker,拿地址、端口、账号
- 引入客户端依赖
- 建立连接与通道
- 生产者声明队列或 topic 后 publish
- 消费者订阅并处理完 ack
## 可靠性要点
- 持久化:durable + delivery_mode=2
- ACK 确认:处理成功才确认
- 重试与死信队列 DLQ
- 消费端幂等:唯一业务 ID 去重
- 顺序:Kafka 同 partition 内有序
- 监控:队列长度与消费延迟
## 端口速记
- RabbitMQ 5672 / 15672 管理台
- Kafka 9092
- RocketMQ 9876 NameServer
- ActiveMQ 61616

一、MQ 是什么

MQ = Message Queue,消息队列。它是一个独立运行的中间件服务,夹在多个应用(服务器)中间,专门负责收发消息——相当于在服务之间放了一个邮局。

没有 MQ 时,A 服务调用 B 服务必须当场发出、当场等结果(HTTP / RPC)。有了 MQ,A 只把消息投进队列就可以返回,B 什么时候处理、开几个进程处理,A 完全不需要知道。

角色 说明
Producer 生产者 发消息的一方
Broker 代理 MQ 服务端本身,负责存消息、转发消息
Consumer 消费者 取消息、执行具体业务逻辑的一方
Queue / Topic 消息的存放容器
Message 消息本体,一般含 body 与 headers / tag / routing key

它解决的四个经典问题:

代价也要清楚:系统复杂度上升;消息可能重复、丢失或乱序;一致性从强一致退化为最终一致;以及额外的运维成本。

二、两种消息模型

1. 点对点(Queue)——任务队列

一条消息只能被一个消费者取走,处理完即删除。适合分发任务、削峰。

2. 发布订阅(Topic)——事件广播

一条消息可以被多个订阅者各收到一份。适合事件通知。

各产品的具体实现不太一样:

投递语义(务必分清):

三、服务器之间怎么「对话」

服务间通信只有两大类,MQ 属于第二类:

对比项 同步调用 异步消息
代表 HTTP / REST、gRPC、Dubbo RabbitMQ、Kafka、RocketMQ
连接方式 调用方直连被调方 双方都只连 Broker
时序 强依赖,对方挂了就报错 时间解耦,消息先攒着
返回值 有(请求—响应) 无,需要回执得另设队列
适用场景 查询、强一致流程 通知、事件、耗时任务、削峰

消息在服务之间的实际路径:

服务A --(connect + publish)--> [ Broker: Exchange/Topic -> Queue ] --(subscribe + consume)--> 服务B
                                                                └--(subscribe + consume)--> 服务C

对话的「语法」由消息格式(JSON / Protobuf / Avro)和路由规则(routing key、topic 名、tag)约定。只要双方遵守这个契约,各服务的代码就能独立部署、独立升级、独立重启。

四、常用产品与选型

产品 特点 适合场景
RabbitMQ AMQP 协议,Exchange 路由灵活,生态成熟 业务解耦、路由复杂、量中等
Kafka 高吞吐、分区并行、可回溯 日志、埋点、流式处理、大数据管道
RocketMQ 事务消息、延时消息、电商交易经验 交易、订单、需要事务消息
Redis Stream / List 部署简单、极轻量 本地解耦、小规模任务队列

五、怎么用:接入五步

以 RabbitMQ 为例(Python + pika):

# ---------- 生产者 ----------
import pika, json
 
conn = pika.BlockingConnection(pika.ConnectionParameters(
    "192.168.1.10", 5672,
    credentials=pika.PlainCredentials("app", "secret")))
ch = conn.channel()
 
# 声明持久化队列
ch.queue_declare(queue="order.paid", durable=True)
 
ch.basic_publish(
    exchange="",                        # 默认 exchange
    routing_key="order.paid",
    body=json.dumps({"orderId": "A1001", "amount": 99.5}),
    properties=pika.BasicProperties(delivery_mode=2))   # 消息持久化
 
conn.close()
# ---------- 消费者 ----------
import pika, json
 
def handle(ch, method, props, body):
    data = json.loads(body)
    try:
        send_sms(data["orderId"])                       # 业务处理
        ch.basic_ack(delivery_tag=method.delivery_tag)  # 成功才 ack
    except Exception:
        # 处理失败,不重回队列,交给死信队列人工排查
        ch.basic_nack(delivery_tag=method.delivery_tag, requeue=False)
 
conn = pika.BlockingConnection(pika.ConnectionParameters(
    "192.168.1.10", 5672,
    credentials=pika.PlainCredentials("app", "secret")))
ch = conn.channel()
ch.queue_declare(queue="order.paid", durable=True)
ch.basic_qos(prefetch_count=10)   # 一次最多预取 10 条,避免单个消费者被撑死
ch.basic_consume(queue="order.paid", on_message_callback=handle)
ch.start_consuming()

六、可靠性要点

七、端口速记

产品 端口
RabbitMQ 5672(AMQP)、15672(管理台)
Kafka 9092
RocketMQ 9876(NameServer)
ActiveMQ 61616