海量日志

场景

两年半后,数据量激增。

数据规模:

  • 日均调用量:200 万次
  • 日志表记录:每天 200 万条
  • 累计数据:18 个月 × 30 天 × 200 万 = 10 亿条

问题:

  • 查询越来越慢
  • 数据库存储告急
  • 备份时间过长

解决方案

日志表涨到 10 亿条后,单靠调索引已经救不回来。这一节的思路是横向拆分:分库分表让写入散开,冷热分离让查询只碰热数据,搜索引擎承担复杂的多条件检索。

1. 分库分表

api_logs(分区)Fields
字段名类型约束 / 说明
idBIGINTNOT NULL, AUTO_INCREMENT
user_idINTNOT NULL
endpointVARCHAR(255)NOT NULL
paramsTEXT请求参数
response_timeINT毫秒
statusVARCHAR(50)调用状态
created_atTIMESTAMP分区键
pkPRIMARY KEY(id, created_at)支持范围分区
分区示例Rows
partitionrangerecordsstoragehotness
p202401< 2024-02-0158,200,000370 GBcold
p202402< 2024-03-0161,900,000395 GBwarm
pmaxMAXVALUEongoingrollinghot

2. 冷热分离

冷热分离要回答的是「哪些数据还会被查」。按时间切分是最简单可靠的办法:越近的数据留在越贵的存储上,越久远的数据越往便宜的地方挪,查询路径随之变短。

设计流程

2. 冷热分离

  1. 步骤 1:按时间把日志划成热(近 30 天)、温(30 到 180 天)、冷(180 天以上)三层
  2. 步骤 2:热数据留在 MySQL 主库并建好时间索引,温数据下沉到从库分担查询
  3. 步骤 3:冷数据迁到低成本对象存储,只保留归档索引供后续检索
  4. 步骤 4:核对各层的数据条数与查询命中情况,确认分层后主库体积和查询耗时都下降

关注点:数据温度的划分标准与分层后的查询命中率。

3. 使用 Elasticsearch

当业务需要按多个条件组合检索、还要做统计时,SQL 索引已经不够用了。这时候引入 Elasticsearch,把「查日志」这件事从数据库里彻底搬出去。

设计流程

3. 使用 Elasticsearch

  1. 步骤 1:设计日志在 ES 中的索引与字段映射,把常用查询条件做成可检索字段
  2. 步骤 2:用采集任务把增量日志同步进 ES,并按保留期滚动删除过期索引
  3. 步骤 3:用关键字、分页和聚合表达业务查询,让调用量统计不再压数据库
  4. 步骤 4:监控写入延迟和索引体积,必要时调大刷新间隔或提前合并小索引

关注点:索引结构设计、写入延迟与索引生命周期管理。

当前架构

技术架构
客户端

用户请求

GET https://dashboard.kuaiyizhi.cn/api/v3/weather?city=北京
负载均衡层

Nginx 负载均衡

应用服务

Nginx

Python

Public API

Admin API

Static

Admin Dashboard


MySQL

Redis 集群

外部服务

MySQL 主从

消息队列

离线数仓

发现内容有问题?

告诉我们哪里需要改进。