调用量统计

运营团队在周一上午找过来,要四个数:每个用户用了多少次 API、哪些时段调用最多、哪些接口最热门、谁是我们的重度用户——这些数据要用来支撑后面的付费套餐。

可现在的统计系统撑不住。按用户维度的一次聚合要扫描几十万条记录,耗时 2 到 5 秒;维度也只有用户这一项,缺时间、接口和响应时间的切分;日志表每月还会新增 600 万条,三个月就是 1800 万条,查得越慢,数据库压力越大。

做法是预聚合:不实时统计原始日志,而是实时更新统计数据、定期把原始日志聚合进统计表,查询时直接读统计结果。原始日志因此可以按计划清理,既省空间,也让主查询保持轻快。

读完你应该能设计一套预聚合的统计表和清理策略,并在”运营看到的数和我看到的数对不上”时,按时间范围、统计对象、聚合延迟、抽样对账的顺序去排查。

场景

用户认证系统上线后,业务继续增长。

Admin Dashboard

日调用量100 万次
写操作10 万次/天
读操作100 万次/天
读写比例1:10
注册用户1.0 千
日活用户300
日调用量20 万

最近调用记录

5 条
时间方法API 路径IP 地址状态码延迟
2026-05-11 18:02:15GET/api/v1/weather?city=beijing10.1.0.220038ms
2026-05-11 18:02:10GET/api/v1/weather?city=shanghai10.1.0.820041ms
2026-05-11 18:02:06GET/api/v1/weather?city=shenzhen10.1.0.1320044ms
2026-05-11 18:02:03GET/api/v1/weather?city=guangzhou10.1.0.2720040ms
2026-05-11 18:02:00GET/api/v1/weather?city=chengdu10.1.0.3320043ms

新需求

运营团队找到我:

Ops Chat
周一 10:20
运

我们需要了解:

  1. 每个用户用了多少次 API?
  2. 哪些时间段的调用最多?
  3. 哪些 API 接口最热门?
  4. 谁是我们的重度用户? 这些数据对后续推出付费套餐很重要。

我意识到:需要建立完善的统计系统。

当前问题

我查看了一下当前的日志系统:

api_definitionsFields
字段名类型约束 / 说明
idINTPRIMARY KEY, AUTO_INCREMENT
nameVARCHAR(100)UNIQUE, NOT NULL
display_nameVARCHAR(100)NOT NULL
endpointVARCHAR(255)NOT NULL
methodVARCHAR(10)DEFAULT 'GET'
categoryVARCHAR(50)weather/news/finance/tools
external_api_urlVARCHAR(255)上游服务地址
requires_authBOOLEANDEFAULT TRUE
cache_ttlINT缓存时间(秒)
rate_limit_factorINTDEFAULT 1
statusVARCHAR(20)active/deprecated/maintenance
is_publicBOOLEANDEFAULT TRUE
created_atTIMESTAMPDEFAULT CURRENT_TIMESTAMP
updated_atTIMESTAMPON UPDATE CURRENT_TIMESTAMP
api_definitionsRows
idnamedisplay_namecategorymethodcache_ttlstatus
1weather天气查询weatherGET3600active
2news新闻快讯newsGET300active
3stock股票行情financeGET60maintenance

问题 1:查询太慢

设计流程

当前问题:数据模型

  1. 步骤 1:按业务维度聚合统计结果
  2. 步骤 2:确认「当前问题:数据模型」涉及的请求、数据对象和责任边界
  3. 步骤 3:根据输入、状态和失败情况选择后续路径
  4. 步骤 4:写入处理结果,并返回可观测的业务状态

关注点:输入边界、状态变化、失败处理和验证方式。

这个查询需要扫描几十万条记录,耗时 2-5 秒。

问题 2:统计维度不够

当前只能按用户统计,但运营需要:

  • 按时间统计(每小时、每天)
  • 按接口统计(哪个接口最热门)
  • 按响应时间统计(性能分析)

问题 3:数据量太大

日志表每个月增加 600 万条记录:

  • 3 个月:1800 万条
  • 查询越来越慢
  • 数据库压力越来越大

解决思路

我决定采用预聚合的方式:

核心思想

不实时统计原始日志,而是:

  1. 实时更新统计数据
  2. 定期聚合原始日志
  3. 查询时直接读取统计数据

优势

  • 查询速度极快(直接读取统计结果)
  • 原始日志可以定期清理
  • 支持多种统计维度

设计统计表

api_stats_hourlyFields
字段名类型约束 / 说明
idBIGINTPRIMARY KEY, AUTO_INCREMENT
user_idINTNOT NULL
endpointVARCHAR(255)NOT NULL
hourTIMESTAMP精确到小时
total_callsINTDEFAULT 0
success_callsINTDEFAULT 0
error_callsINTDEFAULT 0
avg_response_timeFLOAT平均响应时间(ms)
created_atTIMESTAMPDEFAULT CURRENT_TIMESTAMP
api_stats_hourlyRows
user_idendpointhourtotal_callssuccess_callserror_calls
1001/api/weather2026-04-20 10:001321284
1002/api/forecast2026-04-20 10:0091901

修改 API 调用逻辑

API 调用统计流程

API 请求到达

用户发起 API 调用请求

执行业务逻辑

处理请求并获取结果,记录响应时间

记录原始日志

将调用详情写入 api_logs 表

更新统计数据

实时更新 api_stats_hourly 小时统计

返回响应

将业务结果返回给客户端

定时聚合任务

小时统计

每条 API 请求时实时更新

日统计

聚合小时数据,按用户 + 接口分组

月统计

聚合日数据,统计月度趋势和最常用接口

数据清理

有了统计表后,原始日志可以定期清理:

数据清理任务

crontab0 3 * * 0/usr/bin/python3 /path/to/clean_logs.py

确定清理时间点

每周日凌晨 3 点执行

计算截止日期

当前时间往前推 90 天

归档旧日志

将过期数据导出为 CSV 文件保存

删除旧日志

从 api_logs 表中删除 90 天前的记录

完成

提交事务并输出清理统计信息

练习

练习 1

如果运营说“昨天的调用量和用户后台看到的不一致”,你会优先检查哪些地方?

调用量统计数据口径排查思路

解题思路:

数据对不上时先别改代码,先确认是不是统计口径不同:时间范围、统计对象、聚合延迟这三项最常见,最后再用抽样对账定位到写入或聚合环节。

详细步骤:

先不要急着改代码,要先确认是不是统计口径不同。

排查顺序可以是:

  1. 确认时间范围:运营看的“昨天”是自然日、UTC 时间,还是北京时间。
  2. 确认统计对象:是否只统计成功请求,还是失败、限流、超时请求也算。
  3. 确认聚合延迟:预聚合任务是否延迟,昨天的数据是否已经跑完。
  4. 抽样对账:选一个用户,把原始日志、统计表、用户后台三边对一下。

如果三边对不上,再检查写日志是否漏记、聚合任务是否重复跑、清理任务是否提前删除了原始日志。

最终答案:

优先检查四处:① 时间范围——运营说的「昨天」是自然日、UTC 还是北京时间;② 统计对象——是否只统计成功请求,失败、限流、超时算不算;③ 聚合延迟——预聚合任务是否跑完;④ 抽样对账——挑一个用户把原始日志、统计表、用户后台三边对齐。三边对不上时,再查日志漏记、聚合重复跑、原始日志被提前清理。

当前架构

技术架构
客户端

用户请求

GET https://dashboard.kuaiyizhi.cn/api/v2/weather?city=北京
负载均衡层

Nginx 负载均衡

应用服务

Nginx

Python

Public API + Rate Limit

Admin API

Static

Admin Dashboard


MySQL

Redis 限流与缓存

外部服务

MySQL 用户与用量

消息队列

发现内容有问题?

告诉我们哪里需要改进。