完整系统

前面的章节各解决一个局部问题,但平台真正上线时压力往往来自整体:采集带宽不够、消息队列容量不足、存储成本失控、查询方案选错——几乎都源于同一件事:没人在设计前先算过每天要承接多少数据。

这一章把整条链路摆出来:应用日志和埋点经过 Agent 采集、日志网关或消息队列、解析与清洗,最后落到日志存储、指标计算和 Trace 存储,再由告警引擎驱动看板与事故工作台。数据进入平台后分成明细流、指标流和追踪流三条,靠 service、env、trace_id、timestamp 统一字段关联;存储从查询场景反推——高频热日志保留 7 到 14 天,冷日志归档数月到数年,指标历史降采样,Trace 采样保留且错误和慢请求优先。

容量估算要先行:日志量 = 服务实例数 × 每实例 QPS × 每请求日志条数 × 单条日志大小。100 个实例、每实例 200 QPS、每请求 2 条日志、每条 1KB,一天大约是 3.4TB。这个数字直接决定采集带宽、队列容量、存储成本和查询方案。

收尾时把取舍重新过一遍:应用直写还是 Agent 采集、文本还是结构化日志、日志聚合还是应用埋点、全量还是采样 trace、告警是不是越敏感越好——每个决策背后都是可靠性、成本和体验之间的权衡。最后对着上线检查清单逐项确认,并用四个问题检验系统是否可运维:变慢了多久能发现、失败了能看到哪一步失败、影响用户了能估算范围、恢复了能证明真的恢复了。

章节

发现内容有问题?

告诉我们哪里需要改进。