日志采集

如果让应用直接把日志写进数据库或远程服务,业务请求就会和日志平台绑死:日志服务慢,业务跟着慢;日志服务挂了,业务甚至被拖垮。入口必须先做到隔离——应用只写本地文件,采集 Agent 负责读取、缓冲和发送。Agent 用 offset 维护读取位置,进程重启后从上次位置继续,不重发也不跳过。

接下来是可靠性。日志不可能绝对不丢,但可以把丢失边界说清楚:本地缓冲扛住下游不可用,批量发送减少网络开销,失败重试配指数退避避免打爆下游,背压限流在队列过大时优先保留 ERROR 和关键审计日志,其次 WARN,最后丢弃或采样 INFO,offset 持久化保证重启不丢不重。这些机制本质上是在可靠性、延迟和资源占用之间取舍。

噪音是另一种风险。按级别和业务标签分级采集,DEBUG 默认关闭、INFO 高峰期可采样,大字段、堆栈和请求体做脱敏和大小限制——否则一次无意义的刷屏就能淹掉整条链路。

还有个反直觉的提醒:采集链路自身也要被监控。日志量突降往往不是系统变好了,而是 Agent 挂了、队列积压或日志被误删。读完这一章,你应该能设计一条在下游抖动时不会拖垮业务的采集链路,并能说清每个机制牺牲的是什么。

章节

发现内容有问题?

告诉我们哪里需要改进。