数据同步
多地域部署后,遇到新问题。
Admin Dashboard
最近调用记录
5 条| 时间 | 方法 | API 路径 | IP 地址 | 状态码 | 延迟 |
|---|---|---|---|---|---|
2026-12-31 23:59:58 | GET | /api/v3/weather?city=beijing | 10.51.0.2 | 200 | 18ms |
2026-12-31 23:59:55 | GET | /api/v3/air?city=beijing | 10.51.0.2 | 200 | 28ms |
2026-12-31 23:59:52 | GET | /api/v3/weather?city=shanghai | 10.51.0.6 | 200 | 19ms |
2026-12-31 23:59:49 | POST | /api/v1/billing_reconciliation/reconcile | 10.51.0.11 | 200 | 102ms |
2026-12-31 23:59:44 | POST | /api/v1/logs/archive | 10.51.0.9 | 202 | 176ms |
数据流向:
北京(主库) → 上海(从库)
│
└→ 广州(从库)
问题:
1. 主从延迟:几秒到几分钟
2. 网络不稳定:偶发中断
3. 数据一致性:用户期望实时
多地域之后,问题从「机器够不够」变成了「数据跟不跟得上」。复制延迟、网络抖动和用户对实时性的期待互相冲突,接下来这三步分别从传输、路由和一致性三个层面去化解。
1. 优化主从复制
第一步是把复制本身做扎实:复制方式、确认机制和延迟阈值都要定下来。传输不稳,后面所有上层设计都白搭,用户看到的旧数据也就无从解释。
1. 优化主从复制:运行配置
- 步骤 1:开启 binlog 的 ROW 格式与 GTID,让从库按事务重放而不是依赖位点
- 步骤 2:配置半同步复制并设置重试次数,让主库至少等一个从库确认后才返回
- 步骤 3:设置并行复制与从库延迟阈值,超过阈值时先报警而不是让读流量继续打过来
关注点:复制方式与确认机制、延迟阈值的设定与超限后的处理。
2. 应用层路由优化
复制做稳之后,还要决定请求去哪里跑。路由层要同时看三件事:用户在哪、目标地域健不健康、这条请求能不能接受读从库的数据延迟。
2. 应用层路由优化
- 步骤 1:在应用层维护地域拓扑和健康状态,知道每个地域的实例是否可用
- 步骤 2:按「写操作走主地域、读操作走同地域」拆分流量的路由规则
- 步骤 3:把用户所在地域作为首选目标,目标地域不健康时按优先级回退到其他地域
- 步骤 4:在响应中带上地域与复制状态,便于排查用户看到旧数据的具体原因
关注点:地域拓扑的可见性、读写分流规则与不健康地域的回退策略。
3. 最终一致性方案
承认数据会短暂不一致之后,还要给用户一个说得过去的一致性承诺:哪些操作必须读到最新数据,哪些可以慢几秒,以及落后时该等还是该读旧。
3. 最终一致性方案
- 步骤 1:把数据按一致性要求分级,明确哪些操作必须读主库、哪些可以接受秒级延迟
- 步骤 2:为读操作设置一致性等待时间,等复制追上再返回,保证读到的是新数据
- 步骤 3:对已经超时的读操作返回带版本的旧数据,并在响应中标注数据可能滞后
- 步骤 4:监控复制延迟与读旧数据的比例,超过阈值时临时把关键读切回主地域
关注点:一致性分级标准、等待超时后的降级返回与切回主地域的触发条件。
多地域系统最怕的是「静默地不一致」:用户看到旧数据,而监控一切正常。所以监控既要盯复制本身,也要盯用户实际读到了什么,否则问题只会从工单里冒出来。
主从同步监控
复制监控要能区分三种情况:只是慢、断了、还是彻底坏了。只有分清这三种,值班的人才知道该等、该重连还是该切换,避免一上来就做不必要的迁移。
主从同步监控
- 步骤 1:采集每个从库的复制延迟、主从连接状态和复制线程错误
- 步骤 2:为延迟升高和连接断开设置分级告警,延迟持续上升说明复制链路可能已经卡住
- 步骤 3:把复制延迟同步给路由层,让它可以把流量从落后的从库上摘掉
- 步骤 4:定期演练主库宕机,确认从库能被提升并接住读流量
关注点:复制延迟与连接状态的分类告警、延迟数据对路由的影响。
上线前多想一步
- 谁负责写? 如果北京和上海都能改同一份数据,就要提前说清楚谁说了算。
- 数据多久同步过去? 用户能不能接受几秒延迟,不能接受的操作就不要读从库。
- 一个地域挂了怎么办? 用户请求切到哪里,切过去后还能不能看到刚刚提交的数据。
练习 1
用户在北京提交了一个配置修改,随后被路由到上海地域,结果看到的还是旧配置。这个问题应该靠“强制所有读都回北京”解决吗?
解题思路:
先判断这个操作能不能接受最终一致:能接受就不必强制回源,改成按业务重要性分层读写;不能接受的关键操作才读主库。同时复制延迟要可监控。
详细步骤:
不一定。所有读都回北京可以保证更强的一致性,但会牺牲上海用户的延迟,也会让北京重新成为瓶颈。
更合理的做法是按业务重要性分层:
- 强一致操作:刚提交后的配置详情、支付状态、账号安全信息,可以短时间读主库或读写同地域。
- 最终一致操作:报表、列表、非关键展示,可以接受几秒延迟,继续读本地从库。
- 给用户明确反馈:提交后显示“配置已提交,正在同步”,不要让用户误以为操作失败。
- 监控复制延迟:如果延迟超过阈值,临时把关键读切回主地域。
系统设计不是一味追求强一致,而是判断哪些数据必须立刻一致,哪些数据可以慢一点。
最终答案:
不必强制所有读回北京,否则上海用户延迟上升且北京重新成为瓶颈。改为按业务重要性分层:刚提交后的配置详情、支付状态、账号安全信息走强一致(短时间读主库或读写同地域),报表、列表等非关键展示走最终一致继续读本地从库;提交后给用户「配置已提交,正在同步」的明确反馈;复制延迟超过阈值时临时把关键读切回主地域。
发现内容有问题?
告诉我们哪里需要改进。
