数据分析

场景

数据量增长后,产品部门需要数据分析。

Product Chat
周二 15:20
产

需求:

  • 实时监控 API 调用量
  • 统计用户增长趋势
  • 分析 API 使用情况
  • 生成数据报表

问题:

  • MySQL 聚合查询太慢
  • 数据量太大,统计困难
  • 无法实时返回结果

解决方案

数据量一大,在 MySQL 上直接跑 GROUP BY 就成了瓶颈。这里要做的不是继续优化 SQL,而是把「实时统计」拆成三层:实时产出指标、通过 API 暴露分析能力、用聚合任务把明细预先算好。

1. 实时统计系统

实时统计系统负责把散落在各处的调用记录变成可被查询的指标。关键决定是口径:同一个「调用量」在不同地方算出来必须一样,否则后面的报表和 API 都会各说各话。

设计流程

1. 实时统计系统

  1. 步骤 1:先定死指标口径,包括调用量、活跃用户、错误率的算法和统计维度
  2. 步骤 2:在调用链上把每次请求的关键字段写入日志或埋点事件,落到可被聚合的存储
  3. 步骤 3:由采集管道按秒级或分钟级窗口滚动聚合,生成可以直接查询的指标表
  4. 步骤 4:对账报表数值与原始调用量,确认口径一致且数据延迟在产品可接受的范围内

关注点:指标口径的唯一性、聚合延迟与报表可信度。

2. 数据分析 API

分析 API 是产品经理真正会用的入口。它不直接查明细,而是把预聚合的结果按固定参数暴露出去;权限和数据口径必须在这一层就收紧,否则报表会把不同用户的数据混在一起。

设计流程

2. 数据分析 API

  1. 步骤 1:把分析需求收敛成固定接口,例如按时间范围和接口维度返回调用量趋势
  2. 步骤 2:校验调用方的 API Key,并按其权限范围裁剪可见的数据
  3. 步骤 3:查询预聚合好的指标表,避免在明细表上做实时 GROUP BY
  4. 步骤 4:给结果加短期缓存并记录响应时间,超出阈值时返回稍后重试而不是拖住请求

关注点:接口的权限边界、查询延迟与结果口径说明。

3. 数据聚合任务

聚合任务承担的是「把明细提前算好」这件事。它必须可重跑且写入幂等,否则一次失败重试就会让报表里的数字凭空翻倍,事后还很难查清是哪一批数据错了。

设计流程

3. 数据聚合任务

  1. 步骤 1:定义聚合任务的输入(调用明细日志)、输出(指标表)和调度频率
  2. 步骤 2:按时间窗口扫描增量数据,按维度写入预聚合表,并保证写入幂等
  3. 步骤 3:核对聚合结果与抽样明细,偏差超过阈值时告警并触发重跑

关注点:任务可重跑性、幂等写入与结果偏差告警。

练习

练习 1

产品经理想要“实时看每分钟 API 调用量”,但你发现完全实时的成本很高。你会怎么和他讨论这个需求?

数据分析实时性成本权衡

解题思路:

「实时」这个词要先拆开:产品要的多半不是每条请求立刻进报表,而是「变化不要滞后太久」。所以这道题要先把可接受的延迟问清楚,再按使用场景决定用明细还是用聚合,最后从成本最低的版本起步。

详细步骤:

先把“实时”问清楚。很多时候产品说实时,并不是要求每一条请求立刻进入报表,而是希望变化不要太滞后。

可以这样拆:

  1. 确认可接受延迟:是 1 秒、10 秒,还是 1 分钟内都可以。
  2. 确认使用场景:如果是运营看趋势,分钟级通常够用;如果是风控告警,可能要更快。
  3. 区分明细和指标:明细可以异步落库,指标可以先按分钟聚合。
  4. 先做低成本版本:从分钟级聚合开始,等确实需要秒级时再升级流式计算。

这类需求的关键不是炫技,而是用业务场景决定数据新鲜度,再用成本匹配方案。

最终答案:

不直接上实时流式方案。先确认可接受延迟(秒级还是分钟级)与使用场景(看趋势还是做告警),区分明细与指标——明细异步落库、指标按分钟聚合——先交付分钟级聚合版本,等确实需要秒级时再升级为流式计算。

当前架构

技术架构
客户端

用户请求

GET https://dashboard.kuaiyizhi.cn/api/v3/weather?city=北京
负载均衡层

Nginx 负载均衡

应用服务

Nginx

Python

Public API

Admin API

Static

Admin Dashboard


MySQL

Redis 集群

外部服务

MySQL 主从

消息队列

离线数仓

发现内容有问题?

告诉我们哪里需要改进。