故障转移

切流按钮看起来只有一个,实际是一个完整流程。本章要处理的,是从”发现故障”到”确认恢复”之间的每一步。

最反直觉的一点是:单个指标异常不一定要切换。CPU 飙高、延迟抖动、错误率微升,这些都可能是正常波动。如果把切换做成一键操作,运维会在无数个假警报上按下它——每一次误切换都意味着一次真实的服务抖动。切换的成本很高,包括切换本身带来的成本。

真正该切换的故障有个共同特征:影响面已经超出自动处置能覆盖的范围,需要人工决策。这时候人该做的不是手敲复杂命令,而是做决策——按预案执行,脚本负责执行。预案里没有的故障类型,人也不该临场发明操作。

本章的流程主线是:冻结写入 → 检查延迟 → 提升备库 → 切流 → 降级 → 验证 → 观察。这里有两个容易被跳过的动作:

  • 冻结写入。不冻结就切流,两个机房同时接受写入,冲突会在恢复后才暴露。
  • 降级。切换期间数据可能不完整,很多业务功能必须主动关掉——保住核心链路,比保住全部功能更重要。

还有回切。主机房恢复后不要急着切回:主机房的数据可能已经落后于备机房,贸然切回会造成反向的数据丢失。回切需要先确认数据可比对,再择机执行。

读完本章你应该能说清一次切流的完整步骤,以及每一步的判断依据和回滚方式。

章节

发现内容有问题?

告诉我们哪里需要改进。