服务降级

解决方案概述

降级不是关掉缓存,而是缓存失灵之后仍然能把结果交到用户手里。这一节要定的是四层回退顺序:Redis 不可用时读本地缓存,本地也没有了再有限度地回源,最后才落到兜底数据。

核心思路:

  • 当缓存不可用时,自动降级
  • 限制外部 API 访问,保护核心功能
  • 返回缓存数据或默认值
设计流程

解决方案概述

  1. 步骤 1:给缓存读取定义明确的失败判定,连接超时或读取报错都视为缓存不可用
  2. 步骤 2:缓存不可用时先查进程内的本地缓存,命中就直接返回旧数据
  3. 步骤 3:本地缓存也没有时,限制对外部 API 的并发调用量,只放行少量请求回源
  4. 步骤 4:外部 API 同样不可用时返回兜底数据或默认值,并在响应里标注数据可能过期

关注点:降级的触发判定、各层回退顺序与兜底数据的可接受度。

降级层次:

┌─────────────────────────────────────┐
│         Level 1: Redis 缓存          │  ← 正常情况
├─────────────────────────────────────┤
│       Level 2: 本地缓存(进程内)      │  ← Redis 宕机
├─────────────────────────────────────┤
│         Level 3: 外部 API            │  ← 本地缓存没有
├─────────────────────────────────────┤
│        Level 4: 默认值/静态数据       │  ← 外部 API 不可用
└─────────────────────────────────────┘

完整的防护方案

把前面的手段合起来才是完整方案:随机过期时间避免集中失效,高可用保证 Redis 本身不塌,降级保证最坏情况下仍有输出。三者缺一,雪崩就仍然可能发生。

设计流程

完整的防护方案

  1. 步骤 1:把 Redis、本地缓存、外部 API、默认值串成四层降级路径,收进同一个读取函数
  2. 步骤 2:为每一层写明进入降级的条件和恢复条件,避免系统在层与层之间反复抖动
  3. 步骤 3:在回源路径上限制并发数并加超时,防止外部 API 被降级流量二次拖垮
  4. 步骤 4:持续记录各层的命中与降级次数,演练 Redis 宕机后确认可用性仍然达标

关注点:四层降级链路的切换条件、恢复条件与演练验证。

效果验证

实施完整防护方案后的系统指标:

防护效果对比

指标无防护随机过期+ 高可用+ 降级
集中过期风险高低低低
Redis 宕机影响100%100%0%0%
外部 API 保护无部分强最强
可用性95%95%99.9%99.99%

故障演练结果

故障场景测试:

1. 模拟 Redis 主节点宕机
   - 故障检测时间:5 秒
   - 自动切换时间:8 秒
   - 影响请求:0.1%
   - 结果:通过 ✅

2. 模拟 10000 个 key 同时过期
   - 外部 API 峰值:正常值 120%
   - 响应时间:增加 50ms
   - 结果:通过 ✅

3. 模拟外部 API 不可用
   - 降级响应时间:< 100ms
   - 返回本地缓存数据
   - 结果:通过 ✅

当前技术架构

技术架构
客户端

用户请求

GET https://dashboard.kuaiyizhi.cn/api/v2/weather?city=北京
应用服务

Nginx

Python

Public API

Admin API

Static

Admin Dashboard


MySQL

Redis 集群

外部服务

MySQL 主从

消息队列

练习

这道题要的不是单个技巧,而是把高可用、随机过期和降级串成一条能真正兜住雪崩的链路,并说清楚每一层在什么条件下被触发。

练习 1

请设计一个完整的缓存雪崩防护方案,包括关键状态和兜底路径。

回答这题的关键是把每一层的触发条件和兜底路径写清楚,因为雪崩防护失效往往不是因为某一层写得不好,而是层与层之间没有接上。

缓存雪崩方案设计高可用

解题思路:

回答这题的关键是把每一层的触发条件和兜底路径写清楚,因为雪崩防护失效往往不是因为某一层写得不好,而是层与层之间没有接上。

详细步骤:

最终答案:

设计流程

练习 1

  1. 步骤 1:先画出四层防护的读取顺序:Redis 主节点、Redis 从节点、本地缓存、外部 API
  2. 步骤 2:逐层标注降级触发条件,例如主节点超时、集群不可用、本地缓存为空各走哪条分支
  3. 步骤 3:补上最后的兜底路径与状态标记,并按演练结果调整各层的超时阈值

关注点:四层读取顺序、各层降级触发条件与最终兜底路径。

防护层次:

  1. Redis 从节点读(减轻主节点压力)
  2. Redis 主节点(从节点不可用时)
  3. 本地缓存(Redis 集群不可用时)
  4. 外部 API(最后的数据来源)

关键点:

  • 使用 Sentinel 实现自动故障转移
  • 读写分离(从节点处理读请求)
  • 随机过期时间避免集中失效
  • 本地缓存作为最后防线

发现内容有问题?

告诉我们哪里需要改进。