限流问题
用户量继续增长,我发现了一些异常情况。
Admin Dashboard
日调用量100 万次
写操作10 万次/天
读操作100 万次/天
读写比例1:10
注册用户1.5 千
日活用户400
日调用量30 万
最近调用记录
5 条| 时间 | 方法 | API 路径 | IP 地址 | 状态码 | 延迟 |
|---|---|---|---|---|---|
2026-06-01 10:20:05 | GET | /api/v1/weather | 198.51.100.22 | 429 | 6ms |
2026-06-01 10:20:03 | GET | /api/v1/weather | 198.51.100.22 | 429 | 6ms |
2026-06-01 10:19:59 | GET | /api/v1/weather | 198.51.100.22 | 429 | 5ms |
2026-06-01 10:19:52 | GET | /api/v1/weather | 10.0.0.52 | 200 | 33ms |
2026-06-01 10:19:49 | GET | /api/v1/weather | 10.0.0.88 | 200 | 31ms |
某天,服务器响应突然变慢。
我查了一下监控,发现:
User 123 在 1 小时内调用了 15000 次!
平均每秒:15000 / 3600 ≈ 4.2 次
这个用户在疯狂调用 API,影响了其他用户。
我查看了这个用户的使用情况:
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | BIGINT | PRIMARY KEY, AUTO_INCREMENT |
endpoint | VARCHAR(255) | NOT NULL |
params | TEXT | 请求参数 |
response_status | INT | HTTP 状态码 |
response_time | INT | 响应时间(ms) |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| id | endpoint | params | response_status | response_time | created_at |
|---|---|---|---|---|---|
1 | /api/weather | city=北京 | 200 | 118 | 2026-03-31 14:00:00 |
2 | /api/weather | city=上海 | 200 | 132 | 2026-03-31 14:01:00 |
3 | /api/weather | city=广州 | 500 | 240 | 2026-03-31 14:02:00 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | INT | PRIMARY KEY, AUTO_INCREMENT |
email | VARCHAR(255) | UNIQUE, NOT NULL |
password_hash | VARCHAR(255) | NOT NULL |
api_key | VARCHAR(64) | UNIQUE, NOT NULL |
plan | VARCHAR(50) | DEFAULT 'free' |
daily_limit | INT | DEFAULT 1000 |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| id | plan | daily_limit | created_at | |
|---|---|---|---|---|
1 | alice@demo.com | free | 1000 | 2026-04-08 10:32:11 |
2 | bob@demo.com | pro | 100000 | 2026-04-11 09:15:02 |
3 | ops@demo.com | basic | 10000 | 2026-04-13 21:44:36 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | BIGINT | PRIMARY KEY, AUTO_INCREMENT |
user_id | INT | NOT NULL |
endpoint | VARCHAR(255) | NOT NULL |
hour | TIMESTAMP | 精确到小时 |
total_calls | INT | DEFAULT 0 |
success_calls | INT | DEFAULT 0 |
error_calls | INT | DEFAULT 0 |
avg_response_time | FLOAT | 平均响应时间(ms) |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| user_id | endpoint | hour | total_calls | success_calls | error_calls |
|---|---|---|---|---|---|
1001 | /api/weather | 2026-04-20 10:00 | 132 | 128 | 4 |
1002 | /api/forecast | 2026-04-20 10:00 | 91 | 90 | 1 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | BIGINT | PRIMARY KEY, AUTO_INCREMENT |
user_id | INT | NOT NULL |
endpoint | VARCHAR(255) | NOT NULL |
date | DATE | 统计日期 |
total_calls | INT | DEFAULT 0 |
success_calls | INT | DEFAULT 0 |
error_calls | INT | DEFAULT 0 |
avg_response_time | FLOAT | 平均响应时间(ms) |
p95_response_time | FLOAT | 95分位响应时间(ms) |
p99_response_time | FLOAT | 99分位响应时间(ms) |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| user_id | endpoint | date | total_calls | success_calls | error_calls |
|---|---|---|---|---|---|
1001 | /api/weather | 2026-04-20 | 2410 | 2368 | 42 |
1002 | /api/forecast | 2026-04-20 | 1832 | 1810 | 22 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | BIGINT | PRIMARY KEY, AUTO_INCREMENT |
user_id | INT | NOT NULL |
month | DATE | 每月1号 |
total_calls | INT | DEFAULT 0 |
total_success | INT | DEFAULT 0 |
total_error | INT | DEFAULT 0 |
avg_daily_calls | FLOAT | 日均调用次数 |
peak_hour_calls | INT | 峰值小时调用量 |
most_used_endpoint | VARCHAR(255) | 最常调用接口 |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| user_id | month | total_calls | total_success | total_error | avg_daily_calls |
|---|---|---|---|---|---|
1001 | 2026-04 | 58420 | 57110 | 1310 | 1947 |
1002 | 2026-04 | 40680 | 39920 | 760 | 1356 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | INT | PRIMARY KEY, AUTO_INCREMENT |
name | VARCHAR(100) | UNIQUE, NOT NULL |
display_name | VARCHAR(100) | NOT NULL |
endpoint | VARCHAR(255) | NOT NULL |
method | VARCHAR(10) | DEFAULT 'GET' |
category | VARCHAR(50) | weather/news/finance/tools |
external_api_url | VARCHAR(255) | 上游服务地址 |
requires_auth | BOOLEAN | DEFAULT TRUE |
cache_ttl | INT | 缓存时间(秒) |
rate_limit_factor | INT | DEFAULT 1 |
status | VARCHAR(20) | active/deprecated/maintenance |
is_public | BOOLEAN | DEFAULT TRUE |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
updated_at | TIMESTAMP | ON UPDATE CURRENT_TIMESTAMP |
| id | name | display_name | category | method | cache_ttl | status |
|---|---|---|---|---|---|---|
1 | weather | 天气查询 | weather | GET | 3600 | active |
2 | news | 新闻快讯 | news | GET | 300 | active |
3 | stock | 股票行情 | finance | GET | 60 | maintenance |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | INT | PRIMARY KEY, AUTO_INCREMENT |
user_id | INT | NOT NULL |
api_id | INT | NOT NULL, FK -> api_definitions.id |
granted_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
expires_at | TIMESTAMP | NULL 表示长期有效 |
status | VARCHAR(20) | active/revoked/expired |
| id | user_id | api_id | granted_at | expires_at | status |
|---|---|---|---|---|---|
8001 | 101 | 1 | 2026-04-10 10:00:00 | NULL | active |
8002 | 101 | 2 | 2026-04-10 10:00:00 | 2026-05-10 10:00:00 | active |
8003 | 204 | 3 | 2026-04-01 09:15:00 | 2026-04-30 23:59:59 | expired |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | BIGINT | NOT NULL, AUTO_INCREMENT |
user_id | INT | NOT NULL |
endpoint | VARCHAR(255) | NOT NULL |
params | TEXT | 请求参数 |
response_time | INT | 毫秒 |
status | VARCHAR(50) | 调用状态 |
created_at | TIMESTAMP | 分区键 |
pk | PRIMARY KEY(id, created_at) | 支持范围分区 |
| partition | range | records | storage | hotness |
|---|---|---|---|---|
p202401 | < 2024-02-01 | 58,200,000 | 370 GB | cold |
p202402 | < 2024-03-01 | 61,900,000 | 395 GB | warm |
pmax | MAXVALUE | ongoing | rolling | hot |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | BIGINT | NOT NULL |
user_id | INT | NOT NULL |
endpoint | VARCHAR(255) | NOT NULL |
response_time | INT | 毫秒 |
status | VARCHAR(50) | 调用状态 |
created_at | TIMESTAMP | 分层依据 |
storage_tier | VARCHAR(20) | hot/warm/cold |
archive_uri | VARCHAR(255) | 冷数据对象存储地址 |
| tier | time_range | query_freq | storage | cost_level |
|---|---|---|---|---|
hot | 0-30 days | high | MySQL 主库 | high |
warm | 30-180 days | medium | MySQL 从库 | medium |
cold | >180 days | low | 对象存储 | low |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | INT | PRIMARY KEY, AUTO_INCREMENT |
name | VARCHAR(50) | UNIQUE, free/basic/pro/enterprise |
display_name | VARCHAR(100) | 套餐展示名 |
price_monthly | DECIMAL(10,2) | 月费 |
daily_limit | INT | 每日配额 |
rate_limit_per_second | INT | 每秒限流 |
burst_capacity | INT | 突发容量 |
max_apis | INT | 可用 API 数量 |
data_retention_days | INT | 数据保留天数 |
support_type | VARCHAR(50) | community/email/priority/dedicated |
custom_domain | BOOLEAN | 是否支持自定义域名 |
created_at | TIMESTAMP | DEFAULT CURRENT_TIMESTAMP |
| id | name | price_monthly | daily_limit | rate_limit_per_second | support_type |
|---|---|---|---|---|---|
1 | free | 0.00 | 1000 | 1 | community |
2 | basic | 99.00 | 10000 | 10 | email |
3 | pro | 499.00 | 100000 | 100 | priority |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | INT | PRIMARY KEY, AUTO_INCREMENT |
user_id | INT | UNIQUE, FK -> users.id |
plan_id | INT | FK -> pricing_plans.id |
billing_cycle | VARCHAR(20) | monthly/yearly |
status | VARCHAR(20) | active/cancelled/expired/past_due |
current_period_start | TIMESTAMP | 当前周期开始 |
current_period_end | TIMESTAMP | 当前周期结束 |
cancel_at_period_end | BOOLEAN | 期末取消标记 |
payment_method_id | VARCHAR(255) | 支付渠道 ID |
updated_at | TIMESTAMP | ON UPDATE CURRENT_TIMESTAMP |
| id | user_id | plan_id | billing_cycle | status | current_period_end |
|---|---|---|---|---|---|
501 | 101 | 2 | monthly | active | 2026-05-31 23:59:59 |
502 | 204 | 3 | yearly | active | 2027-04-30 23:59:59 |
503 | 305 | 1 | monthly | past_due | 2026-04-30 23:59:59 |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | INT | PRIMARY KEY, AUTO_INCREMENT |
user_id | INT | FK -> users.id |
subscription_id | INT | FK -> user_subscriptions.id |
billing_period_start | DATE | 账期开始 |
billing_period_end | DATE | 账期结束 |
subtotal | DECIMAL(10,2) | 小计 |
tax | DECIMAL(10,2) | 税费 |
total | DECIMAL(10,2) | 总计 |
total_calls | INT | 周期调用总量 |
plan_limit | INT | 套餐周期限额 |
overage_calls | INT | 超额次数 |
status | VARCHAR(20) | draft/sent/paid/overdue/cancelled |
sent_at | TIMESTAMP | 发送时间 |
paid_at | TIMESTAMP | 支付时间 |
| id | user_id | billing_period_start | billing_period_end | total | status |
|---|---|---|---|---|---|
10001 | 101 | 2026-04-01 | 2026-04-30 | 132.40 | paid |
10002 | 204 | 2026-04-01 | 2026-04-30 | 529.00 | sent |
10003 | 305 | 2026-04-01 | 2026-04-30 | 99.00 | overdue |
| 字段名 | 类型 | 约束 / 说明 |
|---|---|---|
id | INT | PRIMARY KEY, AUTO_INCREMENT |
invoice_id | INT | FK -> invoices.id |
description | VARCHAR(255) | 费用项描述 |
quantity | INT | 数量 |
unit_price | DECIMAL(10,2) | 单价 |
amount | DECIMAL(10,2) | 金额 |
item_type | VARCHAR(50) | base_fee/overage/discount/tax |
metadata | JSON | 扩展信息 |
| id | invoice_id | description | quantity | unit_price | amount |
|---|---|---|---|---|---|
20001 | 10001 | 基础套餐费(Basic) | 1 | 99.00 | 99.00 |
20002 | 10001 | 超额调用费 | 28400 | 0.001 | 28.40 |
20003 | 10001 | 税费 | 1 | 5.00 | 5.00 |
SELECT
DATE_FORMAT(created_at, '%Y-%m-%d %H:00:00') as hour,
COUNT(*) as calls,
AVG(response_time) as avg_response,
ROUND(SUM(CASE WHEN status = 'error' THEN 1 ELSE 0 END) / COUNT(*) * 100, 1) as error_rate
FROM api_logs
WHERE user_id = 123
AND created_at >= DATE_SUB(NOW(), INTERVAL 24 HOUR)
GROUP BY hour
ORDER BY hour DESC| hour | calls | avg_response | error_rate |
|---|---|---|---|
2026-05-12 14:00:00 | 1200 | 52 | 0.3 |
2026-05-12 13:00:00 | 1100 | 48 | 0.5 |
2026-05-12 12:00:00 | 1150 | 55 | 0.2 |
2026-05-12 11:00:00 | 1080 | 50 | 0.4 |
2026-05-12 10:00:00 | 1020 | 46 | 0.3 |
2026-05-12 09:00:00 | 980 | 44 | 0.1 |
切换到查询模式,可以看到统计查询的执行意图和结果。
特征:
- 24 小时不间断调用
- 每小时约 1000-1500 次
- 很有规律的调用模式
结论:这是一个自动化程序!
这个用户的疯狂调用对系统的影响:
1. 性能影响
正常情况:
- QPS(每秒请求数):5
- 平均响应时间:50ms
- 服务器 CPU 使用率:30%
User 123 加入后:
- QPS:10(翻倍)
- 平均响应时间:150ms(变慢 3 倍)
- 服务器 CPU 使用率:70%
2. 资源占用
User 123 占用资源:
- 外部 API 调用量:5%(15000/300000)
- 服务器 CPU 时间:30%
- 数据库连接:常驻 1-2 个
更糟糕的是:
- 挤占了正常用户的资源
- 影响了整体用户体验
3. 不公平
正常用户:
- 每天 100 次调用
- 按套餐付费
User 123:
- 每天 36000 次调用
- 同样的套餐
这不公平!
我决定实现限流机制。
限流目标
- 保护系统稳定性
- 保证公平性
- 区分不同套餐
限流策略
| 套餐 | 每日限额 | 每秒限额 | 突发限额 |
|---|---|---|---|
| 免费版 | 1000 次 | 1 次/秒 | 10 次 |
| 基础版 | 10000 次 | 10 次/秒 | 100 次 |
| 专业版 | 100000 次 | 100 次/秒 | 1000 次 |
练习 1
如果 User 123 是一个正常付费用户,只是在做批量任务,你还会直接封禁他吗?你会怎样设计限流规则,既保护系统,又尽量不误伤用户?
解题思路:
不要把「高频」直接等同于「恶意」。更稳的做法是分套餐设限额、允许突发、超阈值先降速、只有异常行为才进入风控封禁。
详细步骤:
不应该一上来就封禁。更好的做法是把“恶意”和“高频正常使用”分开处理。
可以这样设计:
- 按套餐设置基础限额:免费版、基础版、专业版有不同的每日限额和每秒限额。
- 允许短时间突发:用突发额度处理批量任务,避免用户偶尔集中调用就被拦住。
- 超过阈值先降速:先返回限流提示和剩余额度,而不是直接封号。
- 异常行为再风控:如果出现大量错误参数、撞库式请求、绕过认证等行为,再进入封禁或人工审核。
验证时要看被限流请求里是否有正常业务场景。如果正常用户频繁被拦,说明阈值或突发额度设计得太保守。
最终答案:
不直接封禁。按套餐设置不同的每日与每秒限额,用突发额度容纳批量任务,超过阈值先返回限流提示与剩余额度并降速,只有出现大量错误参数、撞库式请求、绕过认证等异常行为才进入封禁或人工审核。验证时要看被限流的请求里是否混有正常业务场景。
用户请求
GET https://dashboard.kuaiyizhi.cn/api/v2/weather?city=北京Nginx 负载均衡
Nginx
Public API + Rate Limit
Admin API
Admin Dashboard
MySQL
Redis 限流与缓存
MySQL 用户与用量
消息队列
发现内容有问题?
告诉我们哪里需要改进。
