差别
这里会显示出您选择的修订版和当前版本之间的差别。
| 两侧同时换到之前的修订记录 前一修订版 后一修订版 | 前一修订版 | ||
| mysql主库与redis缓存 [2026/10/15 16:21] – 补充第五章:通用读缓存封装(含防击穿与 TTL 抖动) 张叶安 | mysql主库与redis缓存 [2026/10/15 16:21] (当前版本) – 修正指向 docker 页的锚点链接 张叶安 | ||
|---|---|---|---|
| 行 3: | 行 3: | ||
| 这是最常见的「数据库 + 缓存」组合:**MySQL 存全部数据、做唯一事实来源;Redis 挡在读请求前面,把热点数据放进内存。** 目标是让绝大多数读请求根本不碰 MySQL。 | 这是最常见的「数据库 + 缓存」组合:**MySQL 存全部数据、做唯一事实来源;Redis 挡在读请求前面,把热点数据放进内存。** 目标是让绝大多数读请求根本不碰 MySQL。 | ||
| - | 本文按「架构定位 → 读路径 → 写路径 → key 设计 → 代码封装 → 三大缓存问题 → 一致性方案」组织,假设你已经了解 [[redis|Redis 的基本用法]];容器怎么起这两个服务,见 [[docker# | + | 本文按「架构定位 → 读路径 → 写路径 → key 设计 → 代码封装 → 三大缓存问题 → 一致性方案」组织,假设你已经了解 [[redis|Redis 的基本用法]];容器怎么起这两个服务,见 [[docker|Docker |
| > 一句话记住:**缓存只有三个动作——读的时候回填、写的时候删除、过期时间兜底。** 剩下的一切都是这三个动作的细节与补救。 | > 一句话记住:**缓存只有三个动作——读的时候回填、写的时候删除、过期时间兜底。** 剩下的一切都是这三个动作的细节与补救。 | ||
| 行 285: | 行 285: | ||
| return None if raw in (None, NULL_MARK) else json.loads(raw) | return None if raw in (None, NULL_MARK) else json.loads(raw) | ||
| </ | </ | ||
| + | |||
| + | ===== 六、三大缓存问题的具体打法 ===== | ||
| + | |||
| + | ^ 问题 ^ 触发场景 ^ 在 MySQL + Redis 里怎么做 ^ | ||
| + | | 缓存穿透 | 请求不存在的数据(例如把 id 传成负数刷接口),缓存和库都命中不了 | 缓存空值(短 TTL)+ **布隆过滤器**(启动时把 MySQL 主键灌进去,可放 RedisBloom)+ 参数合法性校验 + 单 IP 限流 | | ||
| + | | 缓存击穿 | 单个热点 key 恰好过期(首页、大促商品) | 互斥锁回源(上一节的写法)、**逻辑过期**(值里存过期时间戳,不设物理 TTL,过期后由一个线程异步刷新)、热点数据定时预热 | | ||
| + | | 缓存雪崩 | 大批 key 同时过期,或 Redis 整体挂掉 | TTL 加随机抖动、分批预热错开时间、**本地缓存 + Redis 两级**、熔断降级直查 MySQL 并限流、Redis 用哨兵或集群做高可用 | | ||
| + | |||
| + | 补充两点实战经验: | ||
| + | |||
| + | - **降级开关要提前准备好**:Redis 挂了就去查 MySQL,同时把非核心接口直接返回兜底数据。这需要事先压测过「无缓存时 MySQL 能扛多少 QPS」,否则降级只是把 Redis 的故障转移成数据库的故障。 | ||
| + | - **预热比补救便宜**:大促或发版前,用脚本把确定会热的数据(首页、活动商品)提前灌进缓存,别等流量来了再回源。 | ||
| + | |||
| + | ===== 七、一致性方案分级:按业务选,不要一把梭 ===== | ||
| + | |||
| + | ^ 方案 ^ 一致性水平 ^ 复杂度 ^ 适用场景 ^ | ||
| + | | 更新库 + 删缓存 + TTL 兜底 | 最终一致,窗口秒级 | 低 | **默认方案**,绝大多数业务 | | ||
| + | | 上面 + 延时双删 | 窗口更小但不精确 | 中 | 写并发高、存在主从复制延迟 | | ||
| + | | 上面 + binlog 订阅补偿(Canal / Debezium) | 最终一致,不依赖业务代码 | 高 | 更新入口分散、缓存 key 多、团队有人维护 | | ||
| + | | 缓存内嵌版本号或时间戳 | 能发现不一致并回源 | 中高 | 对脏读敏感的展示类数据 | | ||
| + | | 不缓存,直接读主库 | 强一致 | 低 | 余额、库存、权限、支付状态 | | ||
| + | |||
| + | 要接受的现实是:**只要用了缓存,一致性就是「窗口有多小」的问题,而不是「有没有」的问题。** 工程目标是让窗口足够小(毫秒到秒级)、并且有兜底(TTL、重试、监控告警),而不是追求零窗口。 | ||
| + | |||
| + | ===== 八、别忘了 MySQL 这一侧的配合 ===== | ||
| + | |||
| + | * **主从复制延迟**:写完之后马上读从库可能读不到新值,表现为「改了不进、刷新才有」。常见处理是写后若干秒内的读强制走主库,或把「刚刚更新过」的标记放进缓存让读请求走主库 | ||
| + | * **回源 SQL 必须走索引**:缓存未命中时这条 SQL 会被并发打到,走全表扫描等于直接把库打挂 | ||
| + | * **给回源查询设超时**,并控制数据库连接池上限;缓存击穿的瞬间最容易打爆连接池 | ||
| + | * **监控要有**:缓存命中率(长期低于八成就要查原因)、回源 QPS、MySQL 慢查询、Redis 内存与大 key | ||
| + | * **Redis 与 MySQL 的容量规划分开做**:Redis 内存留足余量并设好 '' | ||
| + | |||
| + | ===== 九、上线检查清单 ===== | ||
| + | |||
| + | * MySQL 是唯一事实来源,清空 Redis 后业务只变慢、不出错 | ||
| + | * 读走 Cache Aside,回填一律带 TTL | ||
| + | * 写走「先更新库、再删缓存」,删的是缓存而不是更新缓存 | ||
| + | * 删除失败有重试或 binlog 补偿,TTL 永远在 | ||
| + | * 空结果有缓存,不存在的数据不会次次打到 MySQL | ||
| + | * 热点 key 有互斥锁或逻辑过期,不会被击穿 | ||
| + | * TTL 带随机抖动,没有成批同时过期的 key | ||
| + | * key 命名、序列化、TTL 有统一规范,单值体积受控 | ||
| + | * 强一致的数据不缓存,走主库 | ||
| + | * 有降级方案,并且压测过「无缓存时 MySQL 能扛多少」 | ||
| + | * 缓存命中率、回源 QPS、慢查询都有监控和告警 | ||
| + | |||
| + | ===== 十、小结 ===== | ||
| + | |||
| + | - 分工:**MySQL 存全部、Redis 只加速**,缓存里不允许有独占数据 | ||
| + | - 读:先查 Redis,未命中查 MySQL 并回填,一定要带 TTL,空结果也要缓存 | ||
| + | - 写:**先更新 MySQL,再删除缓存**,删比更新安全,失败要补偿,TTL 兜底 | ||
| + | - key 设计有规范,TTL 加抖动,体积受控 | ||
| + | - 三大问题各有打法:穿透靠空值缓存加布隆过滤器,击穿靠互斥锁或逻辑过期,雪崩靠抖动加多级缓存和降级 | ||
| + | - 一致性按业务分级选方案,强一致的数据干脆别缓存 | ||
| + | |||
| + | ===== 参考 ===== | ||
| + | |||
| + | * Redis 官方文档:客户端缓存 —— [[https:// | ||
| + | * RedisBloom(布隆过滤器模块) —— [[https:// | ||
| + | * Canal(MySQL binlog 订阅) —— [[https:// | ||
| + | * Debezium —— [[https:// | ||
| + | |||
| + | 相关笔记:[[redis]]、[[docker]] | ||