防止雪崩
某个繁忙的周五下午,发生了系统雪崩。
事件经过:
14:30 - 新闻 API 外部数据源响应慢
14:35 - 新闻 API 占用大量连接
14:40 - 数据库连接池耗尽
14:45 - 所有 API 开始超时
14:50 - 整个系统不可用
影响:
- 所有用户都无法访问
- 持续时间:30 分钟
- 用户投诉激增
雪崩效应:
某个服务变慢
↓
占用资源(连接、线程)
↓
其他服务无资源可用
↓
整体系统崩溃
1. 熔断器(Circuit Breaker)
雪崩的第一道闸门是熔断器:当某个依赖开始变慢时,就不再继续把请求送过去。它的价值在于止损——在依赖彻底拖垮上游之前主动断开。熔断器要管理三种状态(关闭、打开、半开),打开后按固定间隔放少量请求试探恢复,而不是一次性放开全部流量,把刚缓过劲来的下游再打垮一次。
1. 熔断器(Circuit Breaker)
- 步骤 1:为每个依赖设定熔断条件:错误率下限、慢调用比例和统计窗口
- 步骤 2:实现关闭、打开、半开三种状态,达标后立即切到打开并快速失败
- 步骤 3:按冷却间隔放少量请求进半开探测恢复,并把熔断动作写入日志与指标
关注点:熔断阈值、半开探测节奏与误熔断的代价。
2. 限流(Rate Limiting)
限流解决的是入口流量超过承载能力的问题。它和熔断的分工很清楚:限流按调用方身份和配额主动拒绝超额请求,属于主动防守;熔断是被动应对依赖已经变慢的应急刹车。限流要尽量在网关层做,并按用户、套餐、API 多个维度设置阈值,否则一个大客户就能把整个平台的额度吃光。
2. 限流(Rate Limiting)
- 步骤 1:确定限流维度:按调用方、套餐、API 分别设定配额和统计窗口
- 步骤 2:在网关层用原子计数维护窗口用量,并预留一定的突发额度
- 步骤 3:超出配额时直接拒绝并返回 429,同时带上可重试时间和剩余配额
- 步骤 4:监控限流命中率与误杀比例,比例过高时及时调整额度
关注点:限流维度、窗口与突发额度、误杀正常流量的风险。
3. 超时控制
没有超时的调用会让线程和连接一直挂着,最终把整个进程拖住,这是雪崩里最常见的放大器。超时必须小于上游的容忍时间,并且沿着调用链逐层收紧——外层 3 秒、内层 1 秒,层层递减而不是层层相等。还要区分连接超时和读取超时,数据库这类连接建立本身就慢的场景,连接超时必须单独设置。
3. 超时控制
- 步骤 1:统计各依赖的正常响应耗时,取分位数作为超时的取值依据
- 步骤 2:沿调用链逐层收紧超时预算,外层大于内层并预留处理余量
- 步骤 3:分别设置连接超时与读取超时,超时后主动取消请求并释放资源
- 步骤 4:统计超时发生次数和所在环节,超时率异常时优先排查该依赖
关注点:分层超时预算、连接与读取超时的区分、取消传播。
4. 资源隔离
雪崩的放大器往往是共享资源:所有请求抢同一个连接池、一个慢接口占满全部工作线程。资源隔离就是给每类流量划出独立的池子和配额,让慢的流量慢在一边,不去抢健康流量的资源。划分的维度可以是业务线、接口类型或用户等级,配合舱壁模式(bulkhead)来限制一次故障能波及的最大范围。
4. 资源隔离
- 步骤 1:盘点连接池、线程池和队列等共享资源,标出被多方争抢的部分
- 步骤 2:按业务线或接口类型划分独立资源池,给每类流量设定独立配额
- 步骤 3:池子耗尽时快速拒绝该类流量,不让它去挤占其他业务的资源
- 步骤 4:演练单类流量打满的场景,确认其他业务的响应时间不受影响
关注点:共享资源的划分方式、舱壁配额与故障波及范围。
5. 降级策略
当故障已经发生,降级决定系统还能对外提供什么。策略要事先写死:哪些功能可以返回缓存数据、哪些可以只返回部分字段、哪些必须直接拒绝。常见的实现方式有两种,开关用于临时关闭功能,兜底数据用于保证核心接口仍有响应。开关必须能一键回滚,降级期间还要额外盯住降级命中率和兜底数据的陈旧程度。
5. 降级策略
- 步骤 1:列出可降级功能和各自可接受的降级结果,标注恢复优先级
- 步骤 2:为每项功能准备开关与兜底数据,确保降级后仍有可返回的结果
- 步骤 3:把降级开关接到配置中心,做成可一键切换并支持回滚
- 步骤 4:降级期间监控命中率和兜底数据陈旧度,异常时及时介入
关注点:可降级功能清单、开关与兜底数据、降级期间的额外监控。
系统健康监控
防护机制本身也要被监控,否则熔断器什么时候打开、限流误杀了多少、降级有没有生效,都只能等用户投诉才发现。要看的不是单纯的存活,而是反映系统负载和依赖状况的指标:错误率、延迟分布、熔断状态、限流命中、连接池占用。目标只有一个——让值班的人在用户投诉之前先看到异常。
系统健康监控
- 步骤 1:确定健康度指标:错误率、延迟分布、熔断状态、限流命中和连接池占用
- 步骤 2:为熔断打开、限流突增、降级生效等状态变化单独配置告警规则
- 步骤 3:在监控面板上汇总系统健康度,异常时能直接定位到受影响的依赖
- 步骤 4:用一次故障演练验证告警先于用户投诉到达值班人员
关注点:防护状态可观测、告警收敛与用户投诉前的发现能力。
自动降级
有了自动降级,故障时的响应速度就从「人发现问题」变成「系统先处理」。触发条件要基于可观测的信号,比如连续超时或错误率越线,触发后自动把流量切到降级路径,并同步通知值班人员。自动动作必须留有上限——连续触发多次仍不恢复,就升级为人工介入,避免系统在正常路径和降级路径之间来回抖动。
自动降级
- 步骤 1:设定自动降级的触发信号:错误率、连续超时次数和持续时间窗口
- 步骤 2:触发后自动切换到降级路径,屏蔽故障依赖并向值班通道推送通知
- 步骤 3:设置连续触发次数上限,超过后停止自动动作并升级为人工处理
- 步骤 4:记录每次降级的触发原因、影响范围和持续时长,供事后复盘
关注点:自动触发信号、动作次数上限与人工升级路径。
上线前多想一步
- 什么时候该熔断? 不能等所有请求都超时才保护系统,错误率和等待时间要提前设一个边界。
- 降级后给用户什么? 可以少返回一些数据,但最好不要让用户看到一片空白。
- 怎么恢复? 外部服务刚恢复时不要立刻放开全部流量,先小步试探。
发现内容有问题?
告诉我们哪里需要改进。
