mysql主库与redis缓存

差别

这里会显示出您选择的修订版和当前版本之间的差别。

到此差别页面的链接

两侧同时换到之前的修订记录 前一修订版
后一修订版
前一修订版
mysql主库与redis缓存 [2026/10/15 16:20] – 补充正文第一部分:架构定位、读路径、写路径 张叶安mysql主库与redis缓存 [2026/10/15 16:21] (当前版本) – 修正指向 docker 页的锚点链接 张叶安
行 3: 行 3:
 这是最常见的「数据库 + 缓存」组合:**MySQL 存全部数据、做唯一事实来源;Redis 挡在读请求前面,把热点数据放进内存。** 目标是让绝大多数读请求根本不碰 MySQL。 这是最常见的「数据库 + 缓存」组合:**MySQL 存全部数据、做唯一事实来源;Redis 挡在读请求前面,把热点数据放进内存。** 目标是让绝大多数读请求根本不碰 MySQL。
  
-本文按「架构定位 → 读路径 → 写路径 → key 设计 → 代码封装 → 三大缓存问题 → 一致性方案」组织,假设你已经了解 [[redis|Redis 的基本用法]];容器怎么起这两个服务,见 [[docker#部署-mysql-与-redis|Docker 部署 MySQL 与 Redis]]。+本文按「架构定位 → 读路径 → 写路径 → key 设计 → 代码封装 → 三大缓存问题 → 一致性方案」组织,假设你已经了解 [[redis|Redis 的基本用法]];容器怎么起这两个服务,见 [[docker|Docker 入门与实践]] 的「部署 MySQL 与 Redis」一节。
  
 > 一句话记住:**缓存只有三个动作——读的时候回填、写的时候删除、过期时间兜底。** 剩下的一切都是这三个动作的细节与补救。 > 一句话记住:**缓存只有三个动作——读的时候回填、写的时候删除、过期时间兜底。** 剩下的一切都是这三个动作的细节与补救。
行 162: 行 162:
   - 必须用缓存加速时,缓存里放**版本号或时间戳**,读完与库里比对,不一致就回源   - 必须用缓存加速时,缓存里放**版本号或时间戳**,读完与库里比对,不一致就回源
   - 用「扣减走 MySQL 原子更新 + 缓存只做展示」的方式降低一致性要求   - 用「扣减走 MySQL 原子更新 + 缓存只做展示」的方式降低一致性要求
 +
 +===== 四、Key 设计与序列化规范 =====
 +
 +统一规范能省掉后期一大半排查时间:
 +
 +^ 建议 ^ 说明 ^
 +| 命名用 ''业务:实体:ID:字段'' | 如 ''user:1001:profile'' 、''article:200:views'' ,层级用冒号分隔 |
 +| 加统一前缀 | 如 ''app:'' ,多项目共用一个 Redis 实例时不会撞 key |
 +| 值用 JSON 序列化 | 可读性好、跨语言;对体积敏感再换 MessagePack 或压缩 |
 +| 中文不要转义 | PHP 传 ''JSON_UNESCAPED_UNICODE'' ,排查时肉眼能看懂 |
 +| 单值控制在 10 KB 内 | 大对象拆成多个 key,或只缓存热点字段 |
 +| 集合元素控制在几千级 | 超过就用 ''HSCAN'' / ''ZSCAN'' 分页,或拆 key |
 +| TTL 必须设,且加抖动 | 300 秒就设成 270 到 330 秒之间,避免同一批 key 同时过期 |
 +| 空值用独立标记 | 例如固定字符串,避免与真实值混淆 |
 +
 +<code bash>
 +user:1001:profile          # 用户资料,JSON,TTL 5 分钟
 +user:1001:order:count      # 单字段计数,TTL 1 分钟
 +article:200:views          # 计数器,可以给较长 TTL
 +rank:hot:daily:2026-10-15  # 当日热榜,ZSet,第二天自然淘汰
 +lock:order:9527            # 互斥锁,TTL 10 秒
 +</code>
 +
 +另外:**Redis 的 16 个库不要当「环境隔离」用**。开发、测试、生产各起实例或用不同前缀,别靠 ''SELECT'' 切库来区分。
 +
 +===== 五、封装一个通用的「读缓存」方法 =====
 +
 +把「查缓存 → 回源 → 回填 → 加锁」封成一个入口,业务代码只写一次 SQL 回调,是最省心的做法(这也是 Laravel 的 ''Cache::remember'' 、Spring 的 ''@Cacheable'' 在干的事)。
 +
 +<code php>
 +class Cache
 +{
 +    private const NULL_MARK = '@NULL';   // 空值标记
 +
 +    public function __construct(private Redis $redis, private PDO $pdo) {}
 +
 +    // $key 完整 key;$ttl 基础 TTL 秒数;$loader 回源回调(查 MySQL)
 +    public function remember(string $key, int $ttl, callable $loader)
 +    {
 +        $raw = $this->redis->get($key);
 +        if ($raw !== false) {
 +            return $raw === self::NULL_MARK ? null : json_decode($raw, true);
 +        }
 +
 +        // 防击穿:只让一个请求回源,其余请求短暂等待
 +        $lock = "lock:fill:" . $key;
 +        if ($this->redis->set($lock, '1', ['nx', 'ex' => 5])) {
 +            try {
 +                $data = $loader();
 +                $this->write($key, $data, $ttl);
 +                return $data;
 +            } finally {
 +                $this->redis->del($lock);
 +            }
 +        }
 +
 +        usleep(50000);                        // 等 50 毫秒再看一次缓存
 +        $raw = $this->redis->get($key);
 +        if ($raw === false) {
 +            return $loader();                 // 仍没有就降级直查 MySQL(要配合限流)
 +        }
 +        return $raw === self::NULL_MARK ? null : json_decode($raw, true);
 +    }
 +
 +    // 回填:空值用短 TTL,正常值加 TTL 抖动
 +    private function write(string $key, $data, int $ttl): void
 +    {
 +        if ($data === null || $data === []) {
 +            $this->redis->setex($key, min($ttl, 60), self::NULL_MARK);
 +            return;
 +        }
 +        $ttl = (int) ($ttl * (0.9 + mt_rand(0, 20) / 100));   // 防雪崩:上下抖动一成
 +        $this->redis->setex($key, $ttl, json_encode($data, JSON_UNESCAPED_UNICODE));
 +    }
 +
 +    public function forget(string ...$keys): void
 +    {
 +        if ($keys) {
 +            $this->redis->del($keys);
 +        }
 +    }
 +}
 +</code>
 +
 +业务层用起来就三行——注意**读写是分开的,写路径永远只碰数据库和删除**:
 +
 +<code php>
 +// 读
 +$user = $cache->remember("user:" . $id . ":profile", 300, function () use ($id, $pdo) {
 +    return $pdo->query("SELECT id,name,city FROM users WHERE id=" . (int) $id)
 +               ->fetch(PDO::FETCH_ASSOC) ?: null;
 +});
 +
 +// 写:先库后缓存,且是删除不是更新
 +$pdo->prepare("UPDATE users SET city=? WHERE id=?")->execute(['上海', $id]);
 +$cache->forget("user:" . $id . ":profile", "user:" . $id . ":order:count");
 +</code>
 +
 +Python 侧是同样的思路,用 ''set(nx=True, ex=5)'' 抢锁:
 +
 +<code python>
 +NULL_MARK = b"@NULL"
 +
 +def get_user(uid):
 +    key = "user:" + str(uid) + ":profile"
 +    raw = r.get(key)
 +    if raw is not None:
 +        return None if raw == NULL_MARK else json.loads(raw)
 +
 +    lock = "lock:fill:" + key
 +    if r.set(lock, "1", nx=True, ex=5):
 +        try:
 +            row = db.query_one("SELECT id,name,city FROM users WHERE id = ?", (uid,))
 +            payload = NULL_MARK if row is None else json.dumps(row, ensure_ascii=False)
 +            r.setex(key, 300, payload)          # 生产环境再叠加随机抖动
 +            return row
 +        finally:
 +            r.delete(lock)
 +
 +    time.sleep(0.05)
 +    raw = r.get(key)
 +    return None if raw in (None, NULL_MARK) else json.loads(raw)
 +</code>
 +
 +===== 六、三大缓存问题的具体打法 =====
 +
 +^ 问题 ^ 触发场景 ^ 在 MySQL + Redis 里怎么做 ^
 +| 缓存穿透 | 请求不存在的数据(例如把 id 传成负数刷接口),缓存和库都命中不了 | 缓存空值(短 TTL)+ **布隆过滤器**(启动时把 MySQL 主键灌进去,可放 RedisBloom)+ 参数合法性校验 + 单 IP 限流 |
 +| 缓存击穿 | 单个热点 key 恰好过期(首页、大促商品) | 互斥锁回源(上一节的写法)、**逻辑过期**(值里存过期时间戳,不设物理 TTL,过期后由一个线程异步刷新)、热点数据定时预热 |
 +| 缓存雪崩 | 大批 key 同时过期,或 Redis 整体挂掉 | TTL 加随机抖动、分批预热错开时间、**本地缓存 + Redis 两级**、熔断降级直查 MySQL 并限流、Redis 用哨兵或集群做高可用 |
 +
 +补充两点实战经验:
 +
 +  - **降级开关要提前准备好**:Redis 挂了就去查 MySQL,同时把非核心接口直接返回兜底数据。这需要事先压测过「无缓存时 MySQL 能扛多少 QPS」,否则降级只是把 Redis 的故障转移成数据库的故障。
 +  - **预热比补救便宜**:大促或发版前,用脚本把确定会热的数据(首页、活动商品)提前灌进缓存,别等流量来了再回源。
 +
 +===== 七、一致性方案分级:按业务选,不要一把梭 =====
 +
 +^ 方案 ^ 一致性水平 ^ 复杂度 ^ 适用场景 ^
 +| 更新库 + 删缓存 + TTL 兜底 | 最终一致,窗口秒级 | 低 | **默认方案**,绝大多数业务 |
 +| 上面 + 延时双删 | 窗口更小但不精确 | 中 | 写并发高、存在主从复制延迟 |
 +| 上面 + binlog 订阅补偿(Canal / Debezium) | 最终一致,不依赖业务代码 | 高 | 更新入口分散、缓存 key 多、团队有人维护 |
 +| 缓存内嵌版本号或时间戳 | 能发现不一致并回源 | 中高 | 对脏读敏感的展示类数据 |
 +| 不缓存,直接读主库 | 强一致 | 低 | 余额、库存、权限、支付状态 |
 +
 +要接受的现实是:**只要用了缓存,一致性就是「窗口有多小」的问题,而不是「有没有」的问题。** 工程目标是让窗口足够小(毫秒到秒级)、并且有兜底(TTL、重试、监控告警),而不是追求零窗口。
 +
 +===== 八、别忘了 MySQL 这一侧的配合 =====
 +
 +  * **主从复制延迟**:写完之后马上读从库可能读不到新值,表现为「改了不进、刷新才有」。常见处理是写后若干秒内的读强制走主库,或把「刚刚更新过」的标记放进缓存让读请求走主库
 +  * **回源 SQL 必须走索引**:缓存未命中时这条 SQL 会被并发打到,走全表扫描等于直接把库打挂
 +  * **给回源查询设超时**,并控制数据库连接池上限;缓存击穿的瞬间最容易打爆连接池
 +  * **监控要有**:缓存命中率(长期低于八成就要查原因)、回源 QPS、MySQL 慢查询、Redis 内存与大 key
 +  * **Redis 与 MySQL 的容量规划分开做**:Redis 内存留足余量并设好 ''maxmemory'' 与淘汰策略;生产库不要和缓存挤同一台机器
 +
 +===== 九、上线检查清单 =====
 +
 +  * MySQL 是唯一事实来源,清空 Redis 后业务只变慢、不出错
 +  * 读走 Cache Aside,回填一律带 TTL
 +  * 写走「先更新库、再删缓存」,删的是缓存而不是更新缓存
 +  * 删除失败有重试或 binlog 补偿,TTL 永远在
 +  * 空结果有缓存,不存在的数据不会次次打到 MySQL
 +  * 热点 key 有互斥锁或逻辑过期,不会被击穿
 +  * TTL 带随机抖动,没有成批同时过期的 key
 +  * key 命名、序列化、TTL 有统一规范,单值体积受控
 +  * 强一致的数据不缓存,走主库
 +  * 有降级方案,并且压测过「无缓存时 MySQL 能扛多少」
 +  * 缓存命中率、回源 QPS、慢查询都有监控和告警
 +
 +===== 十、小结 =====
 +
 +  - 分工:**MySQL 存全部、Redis 只加速**,缓存里不允许有独占数据
 +  - 读:先查 Redis,未命中查 MySQL 并回填,一定要带 TTL,空结果也要缓存
 +  - 写:**先更新 MySQL,再删除缓存**,删比更新安全,失败要补偿,TTL 兜底
 +  - key 设计有规范,TTL 加抖动,体积受控
 +  - 三大问题各有打法:穿透靠空值缓存加布隆过滤器,击穿靠互斥锁或逻辑过期,雪崩靠抖动加多级缓存和降级
 +  - 一致性按业务分级选方案,强一致的数据干脆别缓存
 +
 +===== 参考 =====
 +
 +  * Redis 官方文档:客户端缓存 —— [[https://redis.io/docs/latest/develop/clients/client-side-caching/]]
 +  * RedisBloom(布隆过滤器模块) —— [[https://redis.io/docs/latest/develop/data-types/probabilistic/bloom-filter/]]
 +  * Canal(MySQL binlog 订阅) —— [[https://github.com/alibaba/canal]]
 +  * Debezium —— [[https://debezium.io/]]
 +
 +相关笔记:[[redis]]、[[docker]]
  

该主题尚不存在

您访问的页面并不存在。如果允许,您可以使用创建该页面按钮来创建它。

  • mysql主库与redis缓存.1792052433.txt.gz
  • 最后更改: 2026/10/15 16:20
  • 由 张叶安