对账修复:库存对账和数据修复机制
上一页的同步机制覆盖了正常路径,但真实系统里有一批它管不到的情况:
场景 1:Redis 扣了,消息根本没发出去(发消息时进程崩溃)
场景 2:消息在队列里躺了很久,消费者一直没消费
场景 3:死信队列里堆着处理不了的消息
场景 4:MySQL 扣减成功,但订单写失败,事务回滚了库存
场景 5:超时未支付订单释放了库存,但释放执行了两次
场景 6:人工修数据时改错了一行
这些场景有个共同点:在线的同步链路全都走完了,每一步都”成功”了,但结果还是错的。
在线机制只能保证”该做的做了”,保证不了”做对了”。所以需要一条独立的、不依赖同步链路的校验路径——对账。
对账的思路很朴素:绕过所有中间环节,直接拿两边的最终状态做比对。
Redis 可用库存 + MySQL 已占用库存(待支付 + 已支付) == 初始库存
对上了,说明两边一致;对不上,差异就是需要修复的线索。
对账什么
先明确要比对的字段和维度。秒杀场景下最核心的一条等式:
初始库存 = MySQL 已售 + MySQL 待支付占用 + Redis 剩余可售 + 异常差异
注意等式右边有”异常差异”这一项——它不该被忽略,而是应该被单独统计、单独告警、单独修复。如果把差异直接摊进”已售”里,就永远查不出问题出在哪。
除了总库存,还要比对更细的维度:
| 维度 | 比对内容 | 意义 |
|---|---|---|
| 按商品 | 每个 SKU 的库存 | 定位是哪个商品超卖 |
| 按活动 | 每场活动维度的总账 | 定位是哪场活动出的问题 |
| 按时间 | 按分钟/小时切片 | 定位问题发生在哪个时间段 |
| 按订单 | 订单状态与库存占用是否匹配 | 定位卡在中间态的订单 |
只做总量对账是不够的。总量对得上但单个商品对不上的情况很常见——一个商品多卖、另一个少卖,总量刚好抵消。这种问题只有下钻到商品维度才能发现。
什么时候对账
三个时机,作用不同:
| 时机 | 频率 | 目的 |
|---|---|---|
| 活动结束后 | 一次性 | 最终确认账目,生成完整差异报告 |
| 活动中 | 分钟级 | 早期发现异常,在损失扩大前止损 |
| 实时监控 | 秒级告警 | 捕捉突发的超卖/少卖 |
活动中的对账最重要。等到活动结束再对账,差异已经变成了实实在在的超卖——货已经发出去了,钱也收了,修复成本极高。
但活动中的对账不能太重。全量扫描所有商品在百万 SKU 规模下不现实,通常要抽样或者只扫活动热点商品。
对账任务怎么跑
定时触发
↓
选定范围(活动维度 / 商品维度 / 抽样)
↓
读 Redis 库存快照
↓
读 MySQL 库存聚合结果
↓
逐维度比对
↓
生成差异记录
↓
分类处理(自动修复 / 人工介入 / 仅告警)
关键是要读快照,不是实时读。对账过程中两边还在变化,如果读到一半数据就变了,对出来的差异是假的。做法是先落一份快照再比对,或者用同一个时间点附近的数据做窗口对齐。
对账任务本身不能影响主链路。它会扫大量数据,如果和秒杀流量抢数据库连接,反而会把正在进行的活动搞崩。对账通常走只读副本,或者安排在专门的低峰窗口。
第一步:生成差异记录
比对结果不能只是打个日志。对账的产出是一张可处理的差异表:
差异表 reconciliation_diff:
id
activity_id 哪场活动
product_id 哪个商品
diff_type 差异类型(超卖 / 少卖 / 状态不匹配)
redis_stock Redis 侧的库存
mysql_stock MySQL 侧的库存
diff_value 差值
detail 明细(受影响订单列表)
status 待处理 / 已修复 / 已忽略
created_at
diff_type 必须分类,因为不同类型的修复动作完全不同:
| 差异类型 | 判定 | 修复动作 |
|---|---|---|
| 超卖 | MySQL 已占用 > 初始库存 | 立即停止放量,人工处理订单和退款 |
| 少卖 | Redis 剩余 > MySQL 占用 + 应售 | 补回 Redis 库存 |
| 订单卡单 | 订单长期处于中间态 | 推进状态机或释放占用 |
| 重复占用 | 同一订单占用多份库存 | 释放多余占用 |
超卖必须优先处理。少卖只是少赚了,超卖是把货卖出去两次——涉及退款和客诉。
第二步:自动修复还是人工介入
不是所有差异都该自动修。
可以自动修复的:差异明确、修复动作可逆、数量在安全阈值内。比如 Redis 剩余库存明显偏多、且没有对应的待支付订单占用,补回库存是安全的。
必须人工介入的:超卖、涉及资金、差异超过阈值、或者无法判断根因的。
自动修复一定要有护栏:
修复前检查:
✅ 差异方向明确(多退少补,不搞反)
✅ 差异量在阈值内(比如不超过 10 件)
✅ 有对应的订单明细支撑,不是凭空产生
✅ 修复动作可回滚(有记录,能反向执行)
❌ 超卖不自动修 —— 必须人工确认
修复后:
✅ 记录修复前后的值(审计用)
✅ 触发告警(不管是否自动修成功)
超卖不自动修。超卖意味着已经卖出去两次,系统不知道该退哪一单的钱、该召回哪一单的人——这个决策需要人来做。
第三步:修复动作本身也要幂等
对账任务会重复执行,修复动作也必须能安全重跑:
重复执行「补回 Redis 库存 5 件」:
第一次:Redis 99 → 104 ✅
第二次:Redis 104 → 109 ❌ 又补了 5 件!
正确做法:
修复动作携带「目标状态」而不是「增量」
幂等键:activity_id + product_id + diff_id
已处理过的 diff_id 直接跳过
“补库存”这类操作要写成”设置成某个目标值”,而不是”加多少”。前者天然幂等,后者每重试一次就错一次。
第四步:闭环与告警
修复完成后:
差异记录 status 更新为已修复
↓
写入修复审计日志(谁、什么时候、改了什么)
↓
统计修复量,生成日报
↓
如果同一商品反复出错 → 告警(可能是设计问题,不是偶发)
“反复出错”比”单次出错”更值得警惕。同一个商品在多次对账里都出现差异,说明前面某次修复没做对,或者根因(比如扣减逻辑的边界条件)本身有 bug。这时应该停下来查代码,而不是继续自动修。
- 对账是独立于同步链路的兜底。它不关心”每一步是否成功”,只比对最终状态,所以能发现所有在线机制漏掉的问题。
- 总量对账不够,必须下钻到商品、活动、时间维度,否则单商品的超卖会被抵消掉。
- 活动中对账比事后对账重要得多。活动后再发现超卖,货已经发出去了。
- 差异要分类。超卖和少卖的性质、优先级、修复方式完全不同。
- 超卖不自动修,涉及资金和已发货的决策必须人工介入。
- 修复动作必须幂等,用”设置目标值”而不是”加增量”来写。
- 反复出现的差异是设计问题,应该停下来查根因,而不是继续自动修。
问题 1:对账任务在活动进行中跑,会不会影响秒杀主链路?
解题思路:
对账任务本身是重查询(扫大量订单行做聚合),秒杀下单是写加行锁,两者落在同一个库上就会互相抢资源。要把风险点拆成连接池耗尽、锁等待、CPU 与 IO 抢占三类,再按隔离、限流、错峰、超时熔断四个层次给出对策。
详细步骤:
会,而且这是对账设计里最容易出事的地方。
对账要读的数据量通常不小:所有活动商品的 Redis 库存,加上 MySQL 侧按商品/订单的聚合结果。在百万 SKU 规模下,这本身就是一批重查询。
风险点在于资源竞争:
对账任务:SELECT ... FROM orders WHERE activity_id = ? GROUP BY product_id ← 扫大量行
秒杀下单:INSERT INTO orders ... + UPDATE product SET stock = stock - 1 ← 需要行锁两者如果落在同一个库上:
- 连接池耗尽:对账的长查询占满连接池,秒杀请求拿不到连接,直接超时。
- 锁等待:对账的聚合查询可能触发表级/行级共享锁,和扣减的行锁互相等待。
- CPU 与 IO 抢占:聚合查询是 CPU 密集的,和下单抢同一批资源。
解决方式,按优先级:
- 走只读副本。对账是纯读操作,放到从库执行,完全不碰主库。这是首选方案。
- 分片限流。把对账范围切片,每片只处理一部分商品,中间 sleep,控制并发压力。
- 错峰执行。避开整点、活动开始和结束时刻——这些正是流量峰值。
- 设置超时和熔断。对账跑太久或数据库负载超阈值时主动放弃本轮,下一轮再来。
关键原则:对账是后台任务,它的优先级永远低于主链路。 一轮对账跑不完只是延迟发现问题,而主链路卡住是直接损失订单。必要时宁可让对账失败重试,也不能拖慢下单。
最终答案:
会有影响。优先走只读副本,再配合分片限流、错峰执行和超时熔断;任何时候主链路优先于对账。
问题 2:如果对账发现超卖,怎么判断是”真的超卖”还是”对账本身读到了不一致的快照”?
解题思路:
关键是要把”两边数据真的不一致”和”两边读的不是同一个时刻”区分开。用一条时间线把两次独立读取之间的成交窗口画出来,就能看出误判是怎么产生的;再给三条消除办法,最后用一个可靠的判别特征收尾——真实超卖不会自愈,假差异会。
详细步骤:
这是个必须认真对待的问题——把假差异当成真超卖去”修复”,后果比不修复更糟。
为什么会读到不一致的快照:
对账不是原子操作,读取 Redis 和读取 MySQL 是两个独立动作,中间业务还在继续:
T0 读 Redis 库存 → 100
T1 此时又成交了 2 单
T2 读 MySQL 已占用 → 98
T3 比对:100 vs 98 → 差 2 → 误判为"少卖 2"!真实情况是两边完全一致(都是 100),只是读取时刻不同。秒杀高峰期成交频率极高,一秒几十上百单,这个窗口非常容易踩到。
避免假差异的做法:
- 同源快照。两边都取同一个时间点的数据。Redis 可以用
BGSAVE生成 RDB 快照或读取复制流;MySQL 可以用一致性快照(START TRANSACTION WITH CONSISTENT SNAPSHOT)。取不到同源快照时,至少保证两边快照的时间戳足够接近。 - 加时间窗口容差。比对时把”时间差内的正常波动”排除掉。比如两边快照时间相差在 1 秒内、且差异量与该时间片内的成交速率吻合,标记为”疑似差异”而不是直接判超卖。
- 二次确认。发现差异后不立即下结论,隔一个短周期再对一次。真实超卖会持续存在,假差异会随两边收敛而消失。
第一次比对:Redis 100,MySQL 98,差 2
↓ 标记为"疑似差异",等待一个周期
第二次比对:Redis 98,MySQL 98,差 0 → 确认是假差异反过来,真正的超卖有一个特征:它不会自愈。假差异会随着两边继续同步而消失,真实超卖则会一直存在,甚至随着更多成交而扩大。所以”等一个周期再确认”这个动作,同时也能区分两者。
最终答案:
假差异来自两边读取时刻不同。解法是取同源快照或加时间窗口容差,并对差异做二次确认;真实超卖不会自愈,假差异会,这是最可靠的判别依据。
问题 3:自动修复的阈值应该怎么定?
解题思路:
阈值没有标准答案,取决于漏修的代价和误修的代价哪个更大。所以先按方向分类(少卖可自动修、超卖必须人工),再谈约束形式(绝对量加相对率双约束)、随活动阶段的变化(活动期宽松、结束后收紧),最后是阈值来源问题——应当来自观察期的真实分布而不是拍脑袋。
详细步骤:
阈值没有标准答案,它取决于”漏修的代价”和”误修的代价”哪个更大。 但有几条必须遵守的原则。
原则一:两个方向的阈值应该不同。
少卖(Redis 多):自动修复,风险低
→ 库存多卖了只是少赚钱,且补回库存不会造成资损
→ 阈值可以宽松一些
超卖(MySQL 多):不自动修复
→ 涉及已发货、已收款,退款和补偿都要人工决策
→ 任何阈值都不适用,直接告警原则二:阈值应该是绝对量 + 相对量双约束。
修复条件:差异量 ≤ 绝对阈值(如 10 件)
且 差异率 ≤ 相对阈值(如 0.1%)只用绝对阈值:热销商品 1 万件库存,差 10 件可能是正常的统计误差;冷门商品 10 件库存,差 10 件就是全卖错了。用相对阈值可以兼顾两种情况。
原则三:阈值要随活动阶段收紧。
活动进行中:阈值宽松(快速恢复,早止损)
→ 但这意味着更可能误修
活动结束后:阈值收紧(数据已稳定,可以慢慢查清)
→ 这时宁可漏修也不要误修活动中的宽松阈值是”用可控的误修换取快速的止损”,因为此时超卖的损失还在扩大。
原则四:先跑一段时间的观察期再启用自动修复。
第 1 阶段:只告警不修复,收集真实差异分布
第 2 阶段:用观察到的分布确定阈值(比如 P99 差异量)
第 3 阶段:启用自动修复这样阈值来自真实数据,而不是拍脑袋。
最终答案:
少卖可以自动修、超卖一律人工;用绝对量+相对率双约束;活动期宽松、结束后收紧;先观察一段时间拿到真实差异分布再定阈值。
发现内容有问题?
告诉我们哪里需要改进。
