调用量统计
运营团队在周一上午找过来,要四个数:每个用户用了多少次 API、哪些时段调用最多、哪些接口最热门、谁是我们的重度用户——这些数据要用来支撑后面的付费套餐。
可现在的统计系统撑不住。按用户维度的一次聚合要扫描几十万条记录,耗时 2 到 5 秒;维度也只有用户这一项,缺时间、接口和响应时间的切分;日志表每月还会新增 600 万条,三个月就是 1800 万条,查得越慢,数据库压力越大。
做法是预聚合:不实时统计原始日志,而是实时更新统计数据、定期把原始日志聚合进统计表,查询时直接读统计结果。原始日志因此可以按计划清理,既省空间,也让主查询保持轻快。
读完你应该能设计一套预聚合的统计表和清理策略,并在”运营看到的数和我看到的数对不上”时,按时间范围、统计对象、聚合延迟、抽样对账的顺序去排查。
用户认证系统上线后,业务继续增长。
Admin Dashboard
最近调用记录
5 条| 时间 | 方法 | API 路径 | IP 地址 | 状态码 | 延迟 |
|---|---|---|---|---|---|
2026-05-11 18:02:15 | GET | /api/v1/weather?city=beijing | 10.1.0.2 | 200 | 38ms |
2026-05-11 18:02:10 | GET | /api/v1/weather?city=shanghai | 10.1.0.8 | 200 | 41ms |
2026-05-11 18:02:06 | GET | /api/v1/weather?city=shenzhen | 10.1.0.13 | 200 | 44ms |
2026-05-11 18:02:03 | GET | /api/v1/weather?city=guangzhou | 10.1.0.27 | 200 | 40ms |
2026-05-11 18:02:00 | GET | /api/v1/weather?city=chengdu | 10.1.0.33 | 200 | 43ms |
运营团队找到我:
我意识到:需要建立完善的统计系统。
我查看了一下当前的日志系统:
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | BIGINT | PRIMARY KEY, AUTO_INCREMENT |
endpoint | VARCHAR(255) | NOT NULL |
params | TEXT | 请求参数 |
response_status | INT | HTTP 状态码 |
response_time | INT | 响应时间(ms) |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| id | endpoint | params | response_status | response_time | created_at |
|---|---|---|---|---|---|
1 | /api/weather | city=北京 | 200 | 118 | 2026-03-31 14:00:00 |
2 | /api/weather | city=上海 | 200 | 132 | 2026-03-31 14:01:00 |
3 | /api/weather | city=广州 | 500 | 240 | 2026-03-31 14:02:00 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | INT | PRIMARY KEY, AUTO_INCREMENT |
email | VARCHAR(255) | UNIQUE, NOT NULL |
password_hash | VARCHAR(255) | NOT NULL |
api_key | VARCHAR(64) | UNIQUE, NOT NULL |
plan | VARCHAR(50) | DEFAULT 'free' |
daily_limit | INT | DEFAULT 1000 |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| id | plan | daily_limit | created_at | |
|---|---|---|---|---|
1 | alice@demo.com | free | 1000 | 2026-04-08 10:32:11 |
2 | bob@demo.com | pro | 100000 | 2026-04-11 09:15:02 |
3 | ops@demo.com | basic | 10000 | 2026-04-13 21:44:36 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | BIGINT | PRIMARY KEY, AUTO_INCREMENT |
user_id | INT | NOT NULL |
endpoint | VARCHAR(255) | NOT NULL |
hour | TIMESTAMP | 精确到小时 |
total_calls | INT | DEFAULT 0 |
success_calls | INT | DEFAULT 0 |
error_calls | INT | DEFAULT 0 |
avg_response_time | FLOAT | 平均响应时间(ms) |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| user_id | endpoint | hour | total_calls | success_calls | error_calls |
|---|---|---|---|---|---|
1001 | /api/weather | 2026-04-20 10:00 | 132 | 128 | 4 |
1002 | /api/forecast | 2026-04-20 10:00 | 91 | 90 | 1 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | BIGINT | PRIMARY KEY, AUTO_INCREMENT |
user_id | INT | NOT NULL |
endpoint | VARCHAR(255) | NOT NULL |
date | DATE | 统计日期 |
total_calls | INT | DEFAULT 0 |
success_calls | INT | DEFAULT 0 |
error_calls | INT | DEFAULT 0 |
avg_response_time | FLOAT | 平均响应时间(ms) |
p95_response_time | FLOAT | 95分位响应时间(ms) |
p99_response_time | FLOAT | 99分位响应时间(ms) |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| user_id | endpoint | date | total_calls | success_calls | error_calls |
|---|---|---|---|---|---|
1001 | /api/weather | 2026-04-20 | 2410 | 2368 | 42 |
1002 | /api/forecast | 2026-04-20 | 1832 | 1810 | 22 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | BIGINT | PRIMARY KEY, AUTO_INCREMENT |
user_id | INT | NOT NULL |
month | DATE | 每月1号 |
total_calls | INT | DEFAULT 0 |
total_success | INT | DEFAULT 0 |
total_error | INT | DEFAULT 0 |
avg_daily_calls | FLOAT | 日均调用次数 |
peak_hour_calls | INT | 峰值小时调用量 |
most_used_endpoint | VARCHAR(255) | 最常调用接口 |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| user_id | month | total_calls | total_success | total_error | avg_daily_calls |
|---|---|---|---|---|---|
1001 | 2026-04 | 58420 | 57110 | 1310 | 1947 |
1002 | 2026-04 | 40680 | 39920 | 760 | 1356 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | INT | PRIMARY KEY, AUTO_INCREMENT |
name | VARCHAR(100) | UNIQUE, NOT NULL |
display_name | VARCHAR(100) | NOT NULL |
endpoint | VARCHAR(255) | NOT NULL |
method | VARCHAR(10) | DEFAULT 'GET' |
category | VARCHAR(50) | weather/news/finance/tools |
external_api_url | VARCHAR(255) | 上游服务地址 |
requires_auth | BOOLEAN | DEFAULT TRUE |
cache_ttl | INT | 缓存时间(秒) |
rate_limit_factor | INT | DEFAULT 1 |
status | VARCHAR(20) | active/deprecated/maintenance |
is_public | BOOLEAN | DEFAULT TRUE |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
updated_at | TIMESTAMP | ON UPDATE CURRENT_TIMESTAMP |
| id | name | display_name | category | method | cache_ttl | status |
|---|---|---|---|---|---|---|
1 | weather | 天气查询 | weather | GET | 3600 | active |
2 | news | 新闻快讯 | news | GET | 300 | active |
3 | stock | 股票行情 | finance | GET | 60 | maintenance |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | INT | PRIMARY KEY, AUTO_INCREMENT |
user_id | INT | NOT NULL |
api_id | INT | NOT NULL, FK -> api_definitions.id |
granted_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
expires_at | TIMESTAMP | NULL 表示长期有效 |
status | VARCHAR(20) | active/revoked/expired |
| id | user_id | api_id | granted_at | expires_at | status |
|---|---|---|---|---|---|
8001 | 101 | 1 | 2026-04-10 10:00:00 | NULL | active |
8002 | 101 | 2 | 2026-04-10 10:00:00 | 2026-05-10 10:00:00 | active |
8003 | 204 | 3 | 2026-04-01 09:15:00 | 2026-04-30 23:59:59 | expired |
问题 1:查询太慢
当前问题:数据模型
- 步骤 1:按业务维度聚合统计结果
- 步骤 2:确认「当前问题:数据模型」涉及的请求、数据对象和责任边界
- 步骤 3:根据输入、状态和失败情况选择后续路径
- 步骤 4:写入处理结果,并返回可观测的业务状态
关注点:输入边界、状态变化、失败处理和验证方式。
这个查询需要扫描几十万条记录,耗时 2-5 秒。
问题 2:统计维度不够
当前只能按用户统计,但运营需要:
- 按时间统计(每小时、每天)
- 按接口统计(哪个接口最热门)
- 按响应时间统计(性能分析)
问题 3:数据量太大
日志表每个月增加 600 万条记录:
- 3 个月:1800 万条
- 查询越来越慢
- 数据库压力越来越大
我决定采用预聚合的方式:
核心思想
不实时统计原始日志,而是:
- 实时更新统计数据
- 定期聚合原始日志
- 查询时直接读取统计数据
优势
- 查询速度极快(直接读取统计结果)
- 原始日志可以定期清理
- 支持多种统计维度
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | BIGINT | PRIMARY KEY, AUTO_INCREMENT |
endpoint | VARCHAR(255) | NOT NULL |
params | TEXT | 请求参数 |
response_status | INT | HTTP 状态码 |
response_time | INT | 响应时间(ms) |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| id | endpoint | params | response_status | response_time | created_at |
|---|---|---|---|---|---|
1 | /api/weather | city=北京 | 200 | 118 | 2026-03-31 14:00:00 |
2 | /api/weather | city=上海 | 200 | 132 | 2026-03-31 14:01:00 |
3 | /api/weather | city=广州 | 500 | 240 | 2026-03-31 14:02:00 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | INT | PRIMARY KEY, AUTO_INCREMENT |
email | VARCHAR(255) | UNIQUE, NOT NULL |
password_hash | VARCHAR(255) | NOT NULL |
api_key | VARCHAR(64) | UNIQUE, NOT NULL |
plan | VARCHAR(50) | DEFAULT 'free' |
daily_limit | INT | DEFAULT 1000 |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| id | plan | daily_limit | created_at | |
|---|---|---|---|---|
1 | alice@demo.com | free | 1000 | 2026-04-08 10:32:11 |
2 | bob@demo.com | pro | 100000 | 2026-04-11 09:15:02 |
3 | ops@demo.com | basic | 10000 | 2026-04-13 21:44:36 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | BIGINT | PRIMARY KEY, AUTO_INCREMENT |
user_id | INT | NOT NULL |
endpoint | VARCHAR(255) | NOT NULL |
hour | TIMESTAMP | 精确到小时 |
total_calls | INT | DEFAULT 0 |
success_calls | INT | DEFAULT 0 |
error_calls | INT | DEFAULT 0 |
avg_response_time | FLOAT | 平均响应时间(ms) |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| user_id | endpoint | hour | total_calls | success_calls | error_calls |
|---|---|---|---|---|---|
1001 | /api/weather | 2026-04-20 10:00 | 132 | 128 | 4 |
1002 | /api/forecast | 2026-04-20 10:00 | 91 | 90 | 1 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | BIGINT | PRIMARY KEY, AUTO_INCREMENT |
user_id | INT | NOT NULL |
endpoint | VARCHAR(255) | NOT NULL |
date | DATE | 统计日期 |
total_calls | INT | DEFAULT 0 |
success_calls | INT | DEFAULT 0 |
error_calls | INT | DEFAULT 0 |
avg_response_time | FLOAT | 平均响应时间(ms) |
p95_response_time | FLOAT | 95分位响应时间(ms) |
p99_response_time | FLOAT | 99分位响应时间(ms) |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| user_id | endpoint | date | total_calls | success_calls | error_calls |
|---|---|---|---|---|---|
1001 | /api/weather | 2026-04-20 | 2410 | 2368 | 42 |
1002 | /api/forecast | 2026-04-20 | 1832 | 1810 | 22 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | BIGINT | PRIMARY KEY, AUTO_INCREMENT |
user_id | INT | NOT NULL |
month | DATE | 每月1号 |
total_calls | INT | DEFAULT 0 |
total_success | INT | DEFAULT 0 |
total_error | INT | DEFAULT 0 |
avg_daily_calls | FLOAT | 日均调用次数 |
peak_hour_calls | INT | 峰值小时调用量 |
most_used_endpoint | VARCHAR(255) | 最常调用接口 |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| user_id | month | total_calls | total_success | total_error | avg_daily_calls |
|---|---|---|---|---|---|
1001 | 2026-04 | 58420 | 57110 | 1310 | 1947 |
1002 | 2026-04 | 40680 | 39920 | 760 | 1356 |
API 调用统计流程
API 请求到达
用户发起 API 调用请求执行业务逻辑
处理请求并获取结果,记录响应时间记录原始日志
将调用详情写入 api_logs 表更新统计数据
实时更新 api_stats_hourly 小时统计返回响应
将业务结果返回给客户端定时聚合任务
小时统计
每条 API 请求时实时更新日统计
聚合小时数据,按用户 + 接口分组月统计
聚合日数据,统计月度趋势和最常用接口有了统计表后,原始日志可以定期清理:
数据清理任务
0 3 * * 0/usr/bin/python3 /path/to/clean_logs.py确定清理时间点
每周日凌晨 3 点执行计算截止日期
当前时间往前推 90 天归档旧日志
将过期数据导出为 CSV 文件保存删除旧日志
从 api_logs 表中删除 90 天前的记录完成
提交事务并输出清理统计信息练习 1
如果运营说“昨天的调用量和用户后台看到的不一致”,你会优先检查哪些地方?
解题思路:
数据对不上时先别改代码,先确认是不是统计口径不同:时间范围、统计对象、聚合延迟这三项最常见,最后再用抽样对账定位到写入或聚合环节。
详细步骤:
先不要急着改代码,要先确认是不是统计口径不同。
排查顺序可以是:
- 确认时间范围:运营看的“昨天”是自然日、UTC 时间,还是北京时间。
- 确认统计对象:是否只统计成功请求,还是失败、限流、超时请求也算。
- 确认聚合延迟:预聚合任务是否延迟,昨天的数据是否已经跑完。
- 抽样对账:选一个用户,把原始日志、统计表、用户后台三边对一下。
如果三边对不上,再检查写日志是否漏记、聚合任务是否重复跑、清理任务是否提前删除了原始日志。
最终答案:
优先检查四处:① 时间范围——运营说的「昨天」是自然日、UTC 还是北京时间;② 统计对象——是否只统计成功请求,失败、限流、超时算不算;③ 聚合延迟——预聚合任务是否跑完;④ 抽样对账——挑一个用户把原始日志、统计表、用户后台三边对齐。三边对不上时,再查日志漏记、聚合重复跑、原始日志被提前清理。
用户请求
GET https://dashboard.kuaiyizhi.cn/api/v2/weather?city=北京Nginx 负载均衡
Nginx
Public API + Rate Limit
Admin API
Admin Dashboard
MySQL
Redis 限流与缓存
MySQL 用户与用量
消息队列
发现内容有问题?
告诉我们哪里需要改进。
