冷热分离

场景

运行两年后,数据量巨大。

数据规模:

  • 总日志记录:10 亿条
  • 每天新增:200 万条
  • 数据库大小:500GB

问题:

  • 查询越来越慢
  • 存储成本高
  • 备份时间长

解决方案

面对 10 亿条日志,方案分两步走:先靠分区表和冷热分离把热数据留在扛得住查询的地方,再把长期不查的数据归档到便宜的对象存储。关键不在于删数据,而在于每一步都能回滚。

1. 冷热数据分离策略

数据分类:

热数据(近期):
- 最近 30 天的日志
- 频繁查询
- 存储在 MySQL 主库
- 需要快速访问

温数据(中期):
- 30-180 天的日志
- 偶尔查询
- 存储在 MySQL 从库
- 访问速度要求一般

冷数据(长期):
- 180 天前的日志
- 很少查询
- 归档到对象存储
- 成本优化

2. 分区表设计

api_logs(冷热分层)Fields
字段名类型约束 / 说明
idBIGINTNOT NULL
user_idINTNOT NULL
endpointVARCHAR(255)NOT NULL
response_timeINT毫秒
statusVARCHAR(50)调用状态
created_atTIMESTAMP分层依据
storage_tierVARCHAR(20)hot/warm/cold
archive_uriVARCHAR(255)冷数据对象存储地址
分层样例Rows
tiertime_rangequery_freqstoragecost_level
hot0-30 dayshighMySQL 主库high
warm30-180 daysmediumMySQL 从库medium
cold>180 dayslow对象存储low

3. 数据归档

归档是这条链路上风险最高的一步,因为它要真的动源库数据。所以顺序必须是先导出、先校验、再删除,中间任何一步失败都停在原地,绝不删掉还没验证过的数据。

设计流程

3. 数据归档

  1. 步骤 1:先按时间阈值划定归档边界,比如把 180 天前的日志定为归档范围
  2. 步骤 2:按主键范围分批导出到对象存储,记录每批的条数和校验和
  3. 步骤 3:确认归档文件能正常读出且条数对得上,再删除源库中的对应数据
  4. 步骤 4:把每批归档的时间、耗时和失败原因写进日志,保证归档可追溯、可重跑

关注点:归档边界、分批导出的可校验性与删除顺序。

4. 冷数据查询

归档之后数据并没有消失,只是换了个更便宜的地方待着。所以还要给冷数据一条能查的路径,否则省下来的存储成本会以「查不到历史数据」的形式还回去。

设计流程

4. 冷数据查询

  1. 步骤 1:判断查询命中的时间范围是否落在归档区间,决定走热库还是归档存储
  2. 步骤 2:在归档索引里定位对应的对象文件,读取后按查询条件过滤
  3. 步骤 3:对跨文件的大范围查询设置行数或时间上限,避免拖垮归档存储
  4. 步骤 4:在结果中标注数据来自归档及其截止时间,让用户知道这份数据的时效

关注点:冷热数据定位、查询资源上限与结果时效标注。

当前架构

技术架构
客户端

用户请求

GET https://dashboard.kuaiyizhi.cn/api/v3/weather?city=北京
负载均衡层

Nginx 负载均衡

应用服务

Nginx

Python

Public API

Admin API

Static

Admin Dashboard


MySQL

Redis 集群

外部服务

MySQL 主从

消息队列

离线数仓

发现内容有问题?

告诉我们哪里需要改进。