告警系统

告警系统的目标不是「有异常就发消息」,而是「在需要人处理时,把足够上下文发给正确的人」。一个糟糕的告警系统会在凌晨发出几百条无效通知,最后所有人都学会忽略它。

规则有四要素:数据源、判断条件、持续时间、通知策略。持续时间用来过滤瞬时抖动——P95 超过 2s 持续 5 分钟才值得告警,偶尔抖一下就忽略;级别划分(P0 核心链路不可用、P1 核心指标明显异常、P2 非核心服务)决定用什么渠道、找谁来响应。

更难的是噪音。一次数据库变慢会同时推高 API 延迟、错误率和队列积压,每条规则都单独通知,值班人会被信息淹没,所以要按服务聚合、按根因抑制上游派生告警、按时间把重复触发合并成一次状态更新;发布窗口和已知维护期间还要降低敏感度。通知渠道要和级别匹配——P0 电话短信、P1 IM 群和值班机器人、P2 工单邮件;超时无人确认就自动升级到备班和负责人,恢复通知同样要发:确认代表有人接手,不代表问题解决。

规则上线不是终点。告警内容要能直达排障入口——异常对象、当前值与阈值、影响范围、最近的变更链接,以及关联的看板、日志查询和 trace 示例;治理上要统计触发次数、确认率、误报漏报,清理长期无人处理的规则。读完这一章,你应该能写出一条可用的告警,并设计出配套的聚合、抑制与升级策略。

章节

发现内容有问题?

告诉我们哪里需要改进。