跨地域部署
两年后,业务扩展到全国。
用户分布:
- 华北:30%(北京、天津等)
- 华东:40%(上海、杭州等)
- 华南:30%(广州、深圳等)
问题:
- 南方用户访问北京服务器延迟高
- 跨运营商访问慢
- 单地域故障影响全国
架构设计
用户请求
GET https://api.kuaiyizhi.cn/v4/weather?city=上海智能 DNS(GeoDNS)
Nginx
Public API Gateway
Admin API
Admin Dashboard
MySQL
Redis 集群 + 哨兵
MySQL 多地域主从
消息队列
离线数仓
多地域部署之后,路由要解决两件事:用户该去哪个地域,以及某个地域挂了怎么办。DNS 层和应用层各解决一部分,两者要配合,不能只押一边。
GeoDNS 智能解析
GeoDNS 在用户发起请求之前就决定了去哪个机房,对客户端完全透明。代价是 DNS 有缓存和 TTL,故障切换不像应用层那样即时,所以必须配好健康检查和备用记录。
设计流程
GeoDNS 配置:部署操作
- 步骤 1:在 DNS 服务商控制台接入 api.kuaiyizhi.cn,并开启按地域解析的线路配置
- 步骤 2:按华北、华东、华南把每条线路指向对应地域的入口 IP
- 步骤 3:为健康检查配置备用地址,让不健康的地域能被摘除而不是继续被解析
- 步骤 4:把解析 TTL 设得尽量短以加快故障切换,并用不同地域的 DNS 查询验证结果
关注点:地域线路配置、健康检查摘除与解析 TTL 的长短取舍。
应用层路由兜底
DNS 切换慢,也认不准单个请求,所以应用层要能自己兜底:判断用户来源、检查目标地域是否健康、必要时直接换机房,让慢的 DNS 和快的应用层互相补位。
设计流程
应用层路由
- 步骤 1:在应用入口判断用户来源地域,识别出这次请求真正来自哪里
- 步骤 2:按地域健康状态和延迟选择目标地域,不健康时按优先级顺延到备用地域
- 步骤 3:把写操作统一转发回主地域,读操作才允许在本地地域完成
- 步骤 4:在响应头中记录实际处理地域,并把路由结果写入日志便于排查
关注点:用户来源识别、地域选择与回退,以及读写请求的分流。
跨地域的第二件事是数据。MySQL 的主从同步解决的是数据库里的数据,缓存里的数据还得单独处理,否则用户会看到「接口是新的、页面是旧的」这种割裂。
主从同步
北京(主) → 上海(从)
│
└→ 广州(从)
使用 MySQL GTID 实现自动同步
缓存同步
缓存同步要选一个策略:是主地域更新后通知其他地域失效,还是各地域各自按 TTL 过期。取舍点在于同步延迟能接受多久,以及是否接受短暂的不一致。
设计流程
缓存同步
- 步骤 1:明确各地域缓存之间的关系,主地域更新后其他地域的缓存必须跟着失效
- 步骤 2:主地域写入缓存或更新数据时,向其他地域的缓存发送失效消息
- 步骤 3:其他地域收到消息后删除本地对应的 key,并接受这段同步延迟带来的短暂不一致
关注点:跨地域缓存失效的触发方式、延迟范围与短暂不一致的接受度。
真实上线还要注意
- 不是所有请求都适合就近处理。 查询天气可以就近读,修改套餐、扣费这类操作最好先回到主地域。
- 路由要看健康状态。 最近的机房如果不健康,就不能继续把用户送过去。
- 缓存也要分地域想。 北京缓存更新了,上海用户什么时候能看到新结果,需要提前接受这个延迟。
发现内容有问题?
告诉我们哪里需要改进。
