跨地域部署

场景

两年后,业务扩展到全国。

用户分布:

  • 华北:30%(北京、天津等)
  • 华东:40%(上海、杭州等)
  • 华南:30%(广州、深圳等)

问题:

  • 南方用户访问北京服务器延迟高
  • 跨运营商访问慢
  • 单地域故障影响全国

解决方案:多地域部署

架构设计

技术架构
客户端

用户请求

GET https://api.kuaiyizhi.cn/v4/weather?city=上海
负载均衡层

智能 DNS(GeoDNS)

应用服务

Nginx

Python

Public API Gateway

Admin API

Static

Admin Dashboard


MySQL

Redis 集群 + 哨兵

外部服务

MySQL 多地域主从

消息队列

离线数仓

多地域路由

多地域部署之后,路由要解决两件事:用户该去哪个地域,以及某个地域挂了怎么办。DNS 层和应用层各解决一部分,两者要配合,不能只押一边。

GeoDNS 智能解析

GeoDNS 在用户发起请求之前就决定了去哪个机房,对客户端完全透明。代价是 DNS 有缓存和 TTL,故障切换不像应用层那样即时,所以必须配好健康检查和备用记录。

设计流程

GeoDNS 配置:部署操作

  1. 步骤 1:在 DNS 服务商控制台接入 api.kuaiyizhi.cn,并开启按地域解析的线路配置
  2. 步骤 2:按华北、华东、华南把每条线路指向对应地域的入口 IP
  3. 步骤 3:为健康检查配置备用地址,让不健康的地域能被摘除而不是继续被解析
  4. 步骤 4:把解析 TTL 设得尽量短以加快故障切换,并用不同地域的 DNS 查询验证结果

关注点:地域线路配置、健康检查摘除与解析 TTL 的长短取舍。

应用层路由兜底

DNS 切换慢,也认不准单个请求,所以应用层要能自己兜底:判断用户来源、检查目标地域是否健康、必要时直接换机房,让慢的 DNS 和快的应用层互相补位。

设计流程

应用层路由

  1. 步骤 1:在应用入口判断用户来源地域,识别出这次请求真正来自哪里
  2. 步骤 2:按地域健康状态和延迟选择目标地域,不健康时按优先级顺延到备用地域
  3. 步骤 3:把写操作统一转发回主地域,读操作才允许在本地地域完成
  4. 步骤 4:在响应头中记录实际处理地域,并把路由结果写入日志便于排查

关注点:用户来源识别、地域选择与回退,以及读写请求的分流。

数据同步

跨地域的第二件事是数据。MySQL 的主从同步解决的是数据库里的数据,缓存里的数据还得单独处理,否则用户会看到「接口是新的、页面是旧的」这种割裂。

主从同步

北京(主) → 上海(从)
     │
     └→ 广州(从)

使用 MySQL GTID 实现自动同步

缓存同步

缓存同步要选一个策略:是主地域更新后通知其他地域失效,还是各地域各自按 TTL 过期。取舍点在于同步延迟能接受多久,以及是否接受短暂的不一致。

设计流程

缓存同步

  1. 步骤 1:明确各地域缓存之间的关系,主地域更新后其他地域的缓存必须跟着失效
  2. 步骤 2:主地域写入缓存或更新数据时,向其他地域的缓存发送失效消息
  3. 步骤 3:其他地域收到消息后删除本地对应的 key,并接受这段同步延迟带来的短暂不一致

关注点:跨地域缓存失效的触发方式、延迟范围与短暂不一致的接受度。

真实上线还要注意

  • 不是所有请求都适合就近处理。 查询天气可以就近读,修改套餐、扣费这类操作最好先回到主地域。
  • 路由要看健康状态。 最近的机房如果不健康,就不能继续把用户送过去。
  • 缓存也要分地域想。 北京缓存更新了,上海用户什么时候能看到新结果,需要提前接受这个延迟。

发现内容有问题?

告诉我们哪里需要改进。