对账修复:库存对账和数据修复机制

问题:数据不一致如何发现和修复?🔍

上一页的同步机制覆盖了正常路径,但真实系统里有一批它管不到的情况:

场景 1:Redis 扣了,消息根本没发出去(发消息时进程崩溃)
场景 2:消息在队列里躺了很久,消费者一直没消费
场景 3:死信队列里堆着处理不了的消息
场景 4:MySQL 扣减成功,但订单写失败,事务回滚了库存
场景 5:超时未支付订单释放了库存,但释放执行了两次
场景 6:人工修数据时改错了一行

这些场景有个共同点:在线的同步链路全都走完了,每一步都”成功”了,但结果还是错的。

在线机制只能保证”该做的做了”,保证不了”做对了”。所以需要一条独立的、不依赖同步链路的校验路径——对账。

对账的思路很朴素:绕过所有中间环节,直接拿两边的最终状态做比对。

Redis 可用库存 + MySQL 已占用库存(待支付 + 已支付) == 初始库存

对上了,说明两边一致;对不上,差异就是需要修复的线索。

对账机制设计 📊

对账什么

先明确要比对的字段和维度。秒杀场景下最核心的一条等式:

初始库存 = MySQL 已售 + MySQL 待支付占用 + Redis 剩余可售 + 异常差异

注意等式右边有”异常差异”这一项——它不该被忽略,而是应该被单独统计、单独告警、单独修复。如果把差异直接摊进”已售”里,就永远查不出问题出在哪。

除了总库存,还要比对更细的维度:

维度比对内容意义
按商品每个 SKU 的库存定位是哪个商品超卖
按活动每场活动维度的总账定位是哪场活动出的问题
按时间按分钟/小时切片定位问题发生在哪个时间段
按订单订单状态与库存占用是否匹配定位卡在中间态的订单

只做总量对账是不够的。总量对得上但单个商品对不上的情况很常见——一个商品多卖、另一个少卖,总量刚好抵消。这种问题只有下钻到商品维度才能发现。

什么时候对账

三个时机,作用不同:

时机频率目的
活动结束后一次性最终确认账目,生成完整差异报告
活动中分钟级早期发现异常,在损失扩大前止损
实时监控秒级告警捕捉突发的超卖/少卖

活动中的对账最重要。等到活动结束再对账,差异已经变成了实实在在的超卖——货已经发出去了,钱也收了,修复成本极高。

但活动中的对账不能太重。全量扫描所有商品在百万 SKU 规模下不现实,通常要抽样或者只扫活动热点商品。

对账任务怎么跑

定时触发
   ↓
选定范围(活动维度 / 商品维度 / 抽样)
   ↓
读 Redis 库存快照
   ↓
读 MySQL 库存聚合结果
   ↓
逐维度比对
   ↓
生成差异记录
   ↓
分类处理(自动修复 / 人工介入 / 仅告警)

关键是要读快照,不是实时读。对账过程中两边还在变化,如果读到一半数据就变了,对出来的差异是假的。做法是先落一份快照再比对,或者用同一个时间点附近的数据做窗口对齐。

对账任务本身不能影响主链路。它会扫大量数据,如果和秒杀流量抢数据库连接,反而会把正在进行的活动搞崩。对账通常走只读副本,或者安排在专门的低峰窗口。

方案落地

第一步:生成差异记录

比对结果不能只是打个日志。对账的产出是一张可处理的差异表:

差异表 reconciliation_diff:
  id
  activity_id        哪场活动
  product_id         哪个商品
  diff_type          差异类型(超卖 / 少卖 / 状态不匹配)
  redis_stock        Redis 侧的库存
  mysql_stock        MySQL 侧的库存
  diff_value         差值
  detail             明细(受影响订单列表)
  status             待处理 / 已修复 / 已忽略
  created_at

diff_type 必须分类,因为不同类型的修复动作完全不同:

差异类型判定修复动作
超卖MySQL 已占用 > 初始库存立即停止放量,人工处理订单和退款
少卖Redis 剩余 > MySQL 占用 + 应售补回 Redis 库存
订单卡单订单长期处于中间态推进状态机或释放占用
重复占用同一订单占用多份库存释放多余占用

超卖必须优先处理。少卖只是少赚了,超卖是把货卖出去两次——涉及退款和客诉。

第二步:自动修复还是人工介入

不是所有差异都该自动修。

可以自动修复的:差异明确、修复动作可逆、数量在安全阈值内。比如 Redis 剩余库存明显偏多、且没有对应的待支付订单占用,补回库存是安全的。

必须人工介入的:超卖、涉及资金、差异超过阈值、或者无法判断根因的。

自动修复一定要有护栏:

修复前检查:
  ✅ 差异方向明确(多退少补,不搞反)
  ✅ 差异量在阈值内(比如不超过 10 件)
  ✅ 有对应的订单明细支撑,不是凭空产生
  ✅ 修复动作可回滚(有记录,能反向执行)
  ❌ 超卖不自动修 —— 必须人工确认

修复后:
  ✅ 记录修复前后的值(审计用)
  ✅ 触发告警(不管是否自动修成功)

超卖不自动修。超卖意味着已经卖出去两次,系统不知道该退哪一单的钱、该召回哪一单的人——这个决策需要人来做。

第三步:修复动作本身也要幂等

对账任务会重复执行,修复动作也必须能安全重跑:

重复执行「补回 Redis 库存 5 件」:
  第一次:Redis 99 → 104 ✅
  第二次:Redis 104 → 109 ❌ 又补了 5 件!

正确做法:
  修复动作携带「目标状态」而不是「增量」
  幂等键:activity_id + product_id + diff_id
  已处理过的 diff_id 直接跳过

“补库存”这类操作要写成”设置成某个目标值”,而不是”加多少”。前者天然幂等,后者每重试一次就错一次。

第四步:闭环与告警

修复完成后:

差异记录 status 更新为已修复
   ↓
写入修复审计日志(谁、什么时候、改了什么)
   ↓
统计修复量,生成日报
   ↓
如果同一商品反复出错 → 告警(可能是设计问题,不是偶发)

“反复出错”比”单次出错”更值得警惕。同一个商品在多次对账里都出现差异,说明前面某次修复没做对,或者根因(比如扣减逻辑的边界条件)本身有 bug。这时应该停下来查代码,而不是继续自动修。

阶段小结

  1. 对账是独立于同步链路的兜底。它不关心”每一步是否成功”,只比对最终状态,所以能发现所有在线机制漏掉的问题。
  2. 总量对账不够,必须下钻到商品、活动、时间维度,否则单商品的超卖会被抵消掉。
  3. 活动中对账比事后对账重要得多。活动后再发现超卖,货已经发出去了。
  4. 差异要分类。超卖和少卖的性质、优先级、修复方式完全不同。
  5. 超卖不自动修,涉及资金和已发货的决策必须人工介入。
  6. 修复动作必须幂等,用”设置目标值”而不是”加增量”来写。
  7. 反复出现的差异是设计问题,应该停下来查根因,而不是继续自动修。

想一想

问题 1:对账任务在活动进行中跑,会不会影响秒杀主链路?

对账机制数据库隔离只读副本

解题思路:

对账任务本身是重查询(扫大量订单行做聚合),秒杀下单是写加行锁,两者落在同一个库上就会互相抢资源。要把风险点拆成连接池耗尽、锁等待、CPU 与 IO 抢占三类,再按隔离、限流、错峰、超时熔断四个层次给出对策。

详细步骤:

会,而且这是对账设计里最容易出事的地方。

对账要读的数据量通常不小:所有活动商品的 Redis 库存,加上 MySQL 侧按商品/订单的聚合结果。在百万 SKU 规模下,这本身就是一批重查询。

风险点在于资源竞争:

对账任务:SELECT ... FROM orders WHERE activity_id = ? GROUP BY product_id  ← 扫大量行
秒杀下单:INSERT INTO orders ... + UPDATE product SET stock = stock - 1    ← 需要行锁

两者如果落在同一个库上:

  • 连接池耗尽:对账的长查询占满连接池,秒杀请求拿不到连接,直接超时。
  • 锁等待:对账的聚合查询可能触发表级/行级共享锁,和扣减的行锁互相等待。
  • CPU 与 IO 抢占:聚合查询是 CPU 密集的,和下单抢同一批资源。

解决方式,按优先级:

  1. 走只读副本。对账是纯读操作,放到从库执行,完全不碰主库。这是首选方案。
  2. 分片限流。把对账范围切片,每片只处理一部分商品,中间 sleep,控制并发压力。
  3. 错峰执行。避开整点、活动开始和结束时刻——这些正是流量峰值。
  4. 设置超时和熔断。对账跑太久或数据库负载超阈值时主动放弃本轮,下一轮再来。

关键原则:对账是后台任务,它的优先级永远低于主链路。 一轮对账跑不完只是延迟发现问题,而主链路卡住是直接损失订单。必要时宁可让对账失败重试,也不能拖慢下单。

最终答案:

会有影响。优先走只读副本,再配合分片限流、错峰执行和超时熔断;任何时候主链路优先于对账。

问题 2:如果对账发现超卖,怎么判断是”真的超卖”还是”对账本身读到了不一致的快照”?

对账机制数据快照一致性验证

解题思路:

关键是要把”两边数据真的不一致”和”两边读的不是同一个时刻”区分开。用一条时间线把两次独立读取之间的成交窗口画出来,就能看出误判是怎么产生的;再给三条消除办法,最后用一个可靠的判别特征收尾——真实超卖不会自愈,假差异会。

详细步骤:

这是个必须认真对待的问题——把假差异当成真超卖去”修复”,后果比不修复更糟。

为什么会读到不一致的快照:

对账不是原子操作,读取 Redis 和读取 MySQL 是两个独立动作,中间业务还在继续:

T0  读 Redis 库存        → 100
T1  此时又成交了 2 单
T2  读 MySQL 已占用       → 98
T3  比对:100 vs 98 → 差 2 → 误判为"少卖 2"!

真实情况是两边完全一致(都是 100),只是读取时刻不同。秒杀高峰期成交频率极高,一秒几十上百单,这个窗口非常容易踩到。

避免假差异的做法:

  1. 同源快照。两边都取同一个时间点的数据。Redis 可以用 BGSAVE 生成 RDB 快照或读取复制流;MySQL 可以用一致性快照(START TRANSACTION WITH CONSISTENT SNAPSHOT)。取不到同源快照时,至少保证两边快照的时间戳足够接近。
  2. 加时间窗口容差。比对时把”时间差内的正常波动”排除掉。比如两边快照时间相差在 1 秒内、且差异量与该时间片内的成交速率吻合,标记为”疑似差异”而不是直接判超卖。
  3. 二次确认。发现差异后不立即下结论,隔一个短周期再对一次。真实超卖会持续存在,假差异会随两边收敛而消失。
第一次比对:Redis 100,MySQL 98,差 2
  ↓ 标记为"疑似差异",等待一个周期
第二次比对:Redis 98,MySQL 98,差 0 → 确认是假差异

反过来,真正的超卖有一个特征:它不会自愈。假差异会随着两边继续同步而消失,真实超卖则会一直存在,甚至随着更多成交而扩大。所以”等一个周期再确认”这个动作,同时也能区分两者。

最终答案:

假差异来自两边读取时刻不同。解法是取同源快照或加时间窗口容差,并对差异做二次确认;真实超卖不会自愈,假差异会,这是最可靠的判别依据。

问题 3:自动修复的阈值应该怎么定?

对账机制自动修复风险控制

解题思路:

阈值没有标准答案,取决于漏修的代价和误修的代价哪个更大。所以先按方向分类(少卖可自动修、超卖必须人工),再谈约束形式(绝对量加相对率双约束)、随活动阶段的变化(活动期宽松、结束后收紧),最后是阈值来源问题——应当来自观察期的真实分布而不是拍脑袋。

详细步骤:

阈值没有标准答案,它取决于”漏修的代价”和”误修的代价”哪个更大。 但有几条必须遵守的原则。

原则一:两个方向的阈值应该不同。

少卖(Redis 多):自动修复,风险低
  → 库存多卖了只是少赚钱,且补回库存不会造成资损
  → 阈值可以宽松一些

超卖(MySQL 多):不自动修复
  → 涉及已发货、已收款,退款和补偿都要人工决策
  → 任何阈值都不适用,直接告警

原则二:阈值应该是绝对量 + 相对量双约束。

修复条件:差异量 ≤ 绝对阈值(如 10 件)
       且 差异率 ≤ 相对阈值(如 0.1%)

只用绝对阈值:热销商品 1 万件库存,差 10 件可能是正常的统计误差;冷门商品 10 件库存,差 10 件就是全卖错了。用相对阈值可以兼顾两种情况。

原则三:阈值要随活动阶段收紧。

活动进行中:阈值宽松(快速恢复,早止损)
  → 但这意味着更可能误修

活动结束后:阈值收紧(数据已稳定,可以慢慢查清)
  → 这时宁可漏修也不要误修

活动中的宽松阈值是”用可控的误修换取快速的止损”,因为此时超卖的损失还在扩大。

原则四:先跑一段时间的观察期再启用自动修复。

第 1 阶段:只告警不修复,收集真实差异分布
第 2 阶段:用观察到的分布确定阈值(比如 P99 差异量)
第 3 阶段:启用自动修复

这样阈值来自真实数据,而不是拍脑袋。

最终答案:

少卖可以自动修、超卖一律人工;用绝对量+相对率双约束;活动期宽松、结束后收紧;先观察一段时间拿到真实差异分布再定阈值。

发现内容有问题?

告诉我们哪里需要改进。