数据归档策略

随着业务增长,数据库表越来越大。为了防止无限膨胀,我们需要设计数据归档策略。

为什么要归档?

数据增长趋势:

第 1 个月:10 万条    →  查询正常
第 3 个月:500 万条  →  查询变慢
第 6 个月:2000 万条 →  备份困难
第 12 个月:5000 万条 →  需要改变

归档的好处

好处说明
控制主表大小保持热数据表在合理范围
提升查询性能减少扫描数据量
降低备份成本备份时间窗口缩短
合规要求满足数据保留政策

数据分层策略

数据不会一下子变冷,它会先从热变温再变冷。所以归档不是「一次性把旧数据搬走」,而是给数据划出温度带:常用的留在热层,不常用的搬进温层或冷层。后面几个方案讨论的,就是这条温度线划在哪里、由谁来执行。

数据分层架构

热数据层(Hot)

  • MySQL 主库
  • 最近 30 天数据
  • 频繁访问,需要索引优化

温数据层(Warm)

  • MySQL 从库 / 归档表
  • 30-90 天数据
  • 偶尔访问,查询走从库

冷数据层(Cold)

  • 对象存储 / CSV 文件
  • 90 天以上数据
  • 极少访问,按需查询

归档方案实现

方案 A:归档到文件

归档到文件最简单,也最危险:文件一旦写下去就很难改,格式还可能随代码升级而失效。所以方案 A 的关键不是怎么写,而是怎么保证几年后还能读懂——格式要自描述,索引要另存。

设计流程

方案 A:归档到文件

  1. 步骤 1:按保留期筛出待归档数据,导出为 CSV 或 Parquet 等自描述格式的文件
  2. 步骤 2:把文件按日期分目录存到对象存储或归档服务器,并用时间戳命名
  3. 步骤 3:把表名、时间范围、行数与文件路径写入归档记录表
  4. 步骤 4:抽样读取归档文件,确认格式仍能被正常解析,再删除主表数据

关注点:归档文件的格式、存放位置,以及将来还能不能被读出来。

方案 B:归档到历史表

归档到历史表的好处是查询方式基本不变,坏处是同一个库里东西越来越多。真正的分界线在于查询路由:查询语句必须知道该去主表还是历史表找,否则索引建得再全也没用。

设计流程

方案 B:归档到历史表

  1. 步骤 1:在同一个库里建历史表,保持与主表相同的字段和索引
  2. 步骤 2:按月或按季度建分区表,保留期内的新分区可以直接淘汰
  3. 步骤 3:查询时按时间范围路由到主表或历史表,避免退化成全表扫描
  4. 步骤 4:历史再多时把旧分区导出成文件,衔接方案 A 的归档流程

关注点:历史表与主表如何隔离,以及查询如何被路由到正确的表。

方案 C:使用分区表

api_logs(分区)Fields
字段名类型约束 / 说明
idBIGINTNOT NULL, AUTO_INCREMENT
user_idINTNOT NULL
endpointVARCHAR(255)NOT NULL
paramsTEXT请求参数
response_timeINT毫秒
statusVARCHAR(50)调用状态
created_atTIMESTAMP分区键
pkPRIMARY KEY(id, created_at)支持范围分区
分区示例Rows
partitionrangerecordsstoragehotness
p202401< 2024-02-0158,200,000370 GBcold
p202402< 2024-03-0161,900,000395 GBwarm
pmaxMAXVALUEongoingrollinghot

定时归档任务

归档是一个会长期存在的后台任务,它必须能安全地重跑。批次记录就是为此存在的——有了它,任务中途失败后可以从断点继续,而不是从头再来一遍。

设计流程

定时归档任务:部署操作

  1. 步骤 1:把归档任务安排在低峰期执行,避开业务高峰和备份窗口
  2. 步骤 2:用固定的分批大小处理数据,每批提交一次,避免长事务长时间锁表
  3. 步骤 3:让任务可重入:按时间范围记录已完成的批次,重跑不会重复归档
  4. 步骤 4:任务结束后核对主表行数与归档行数是否对得上

关注点:归档任务的执行窗口、重跑能力与幂等性。

数据保留政策

保留策略配置

保留期是业务决策,不是技术参数。调用日志可能只要三个月,用户数据可能必须留三年,还有些要按合规要求删——所以它必须是配置,而且要能追溯是谁定的。

设计流程

保留策略配置

  1. 步骤 1:按数据用途定保留期,调用日志与用户数据采用不同的期限,并写成可配置项
  2. 步骤 2:明确到期后的动作是归档、清理还是转冷,并把这三者区分开
  3. 步骤 3:对有合规要求的数据,把保留期与删除动作一并记录成审计日志

关注点:不同类型数据的保留期差异,以及到期后的具体处理动作。

自动化清理

归档和清理必须成对出现:先确认数据已经归档好,再去删除主表里的记录。顺序一旦反了,就不是性能问题,而是实实在在的数据丢失。这也是这一节最想强调的一条红线。

设计流程

自动化清理

  1. 步骤 1:用定时任务按分区或按批次清理到期数据,不用一条大 SQL 删全表
  2. 步骤 2:清理前先确认数据已归档且归档文件可读,归档失败就跳过不删
  3. 步骤 3:归档确认完成后才删除主表数据,避免同一份数据长期存两遍
  4. 步骤 4:记录每轮清理的行数、耗时与失败原因,作为容量规划的依据

关注点:清理动作的粒度,以及不可逆操作之前的保险措施。

归档监控

监控指标

归档策略最怕的不是出错,而是「悄悄失效」——任务还在跑,数据量却压不下来;或者压下来了,查询反而变慢。监控要盯的是这些趋势,而不是某一个点的数值。

设计流程

监控指标

  1. 步骤 1:监控主表行数与增长速度,估算多久会重新涨到告警阈值
  2. 步骤 2:统计归档任务的执行成功率与单轮耗时,识别反复失败的批次
  3. 步骤 3:跟踪查询的平均扫描行数,判断归档后热数据是否真的变少了
  4. 步骤 4:记录归档与清理后存储占用的变化,评估长期成本

关注点:哪些数字能提前看出归档策略正在失效。

告警配置

告警的价值在于它指向明确的动作。归档任务延迟了要做什么、主表涨超了要做什么,都应该在设计告警时就想清楚,而不是等告警响了再临时决定。

设计流程

告警配置

  1. 步骤 1:为归档任务连续失败、主表行数超过阈值分别配置告警
  2. 步骤 2:为归档与清理的处理量异常下跌配置告警,排查是否有漏处理
  3. 步骤 3:做分级:任务延迟先告警,连续失败再升级为需要人工介入
  4. 步骤 4:把告警指向具体的任务与数据表,收到告警就能直接定位

关注点:哪些信号值得在半夜把人叫醒,哪些只需要记录。

发现内容有问题?

告诉我们哪里需要改进。