Redis 计数器
上节我花了整整一周实现 Snowflake,调试时钟回拨、分配机器 ID、保证线程安全…虽然最终跑起来了,但我心里总有点不安:时钟回拨的隐患始终存在。
那天凌晨三点,我盯着代码突然想:我只是想生成一个自增 ID,真的需要这么复杂吗?
Snowflake 的"重":
- 64 位二进制拆分,心累
- 时钟回拨处理,头大
- 机器 ID 分配,麻烦
- 线程安全保证,复杂
有没有更简单的方案?
我打开 Redis 文档,突然眼睛一亮 —— INCR 命令!
Redis 的 INCR 命令将 key 中存储的数字值加 1,并返回新值。关键在于:它是原子操作!
我迫不及待地测试了一下:
Redis: SET url_counter 0
Redis: INCR url_counter → 1
Redis: INCR url_counter → 2
Redis: INCR url_counter → 3
↑
原子操作!多台机器同时 INCR 也不会冲突!
为什么 INCR 是原子的?
我深入研究了一下,发现原理很简单:Redis 是单线程执行命令的,即使多个客户端同时执行 INCR,也是排队一个个加的:
客户端 A: INCR url_counter
客户端 B: INCR url_counter ← 等待 A 执行完
客户端 C: INCR url_counter ← 等待 B 执行完
结果:1, 2, 3 ← 完美自增,没有冲突
这不就是我想要的分布式计数器吗?不需要时钟同步,不需要机器 ID,只需要一个 Redis 命令!
我把方案拆开后发现,它的复杂度只有 Snowflake 的十分之一:
落地思路
- 核心就一条命令:
INCR url_counter返回的就是下一个 ID,不需要自己实现任何并发控制。- 唯一性靠 Redis 单线程执行命令保证,多台机器同时 INCR 也不会拿到同一个值。
- ID 从 1 开始连续递增,这正是自增 ID 的语义:顺序确定、可反推、不需要冲突检测。
- 兜底是这一层完全依赖 Redis 可用性——它挂了就没有 ID 可发,这是后面要解决的问题。
就这么简单!没有时钟回拨的烦恼,没有机器 ID 的分配,一个 INCR 命令搞定一切。
集成到短链接服务
我把这个方案集成到了短链接服务中:
落地思路
- 创建接口里先
INCR拿到 ID,再把 ID 编成 Base62 短码,最后把「短码 → 长 URL」写进urls。- 短码由 ID 生成:同一个长 URL 因为 ID 不同会拿到不同短码,所以创建前要先查重,命中已有链接就直接返回原短码。
- 跳转是反向的:短码 → ID → 长 URL,短码必须能反解回 ID,这条链路决定了用 Base62 而不是哈希。
- 兜底是 ID 分配成功但写库失败就浪费一个 ID(不会重复);反过来写库成功却没拿到 ID 则不可能发生。
整个实现清爽多了!我迫不及待地上线测试,一切正常。但是…
上线第二天,我突然意识到一个问题:Redis 是单点,挂了怎么办?
我的短链接服务完全依赖 Redis 生成 ID,如果 Redis 挂了,整个服务就不可用了。这比 Snowflake 的时钟回拨问题还要严重!
方案一:Redis Sentinel(哨兵模式)
我研究了一下 Redis 的高可用方案,发现了 Sentinel:
┌─────────────┐
│ Redis Master │ ← 主节点,处理所有写操作
└──────┬──────┘
│ 复制
┌──────┴──────┐
│Redis Slave 1│ ← 从节点,随时准备接管
│Redis Slave 2│
└─────────────┘
↑ 监控
┌──────┴──────┐
│ Sentinel │ × 3 ← 哨兵,监控主节点健康
└─────────────┘
接入 Sentinel 后,应用侧需要理解的变化很少:
落地思路
- 应用侧只改连接配置:从直连某个地址,改成通过 Sentinel 提供的地址去拿当前主节点。
- 客户端要支持主节点切换:连接断开时重新向 Sentinel 询问当前主节点并重连。
- 切换期间(主节点刚挂、新主还没选出来)
INCR会失败,这段时间要返回明确的服务异常,而不是在本地自增一个计数器。- 兜底是本地绝不能缓存 ID 序列:Redis 一旦回退到旧主节点,本地缓存的旧值会和主节点的值撞车。
Sentinel 会自动监控主节点健康,如果主节点挂了,会自动选举一个从节点成为新的主节点。我的代码完全不用改!
方案二:Redis Cluster(集群模式)
如果数据量更大,我还研究了 Redis Cluster:
┌──────────┐ ┌──────────┐ ┌──────────┐
│ Master 1 │ │ Master 2 │ │ Master 3 │
│ slot 0- │ │slot 5461-│ │slot 10923│
│ 5460 │ │ 10922 │ │ -16383 │
└────┬─────┘ └────┬─────┘ └────┬─────┘
│ │ │
┌────┴────┐ ┌────┴────┐ ┌────┴────┐
│Slave 1 │ │Slave 2 │ │Slave 3 │
└─────────┘ └─────────┘ └─────────┘
不过对于短链接服务,单个 Redis + Sentinel 就够用了,Cluster 有点杀鸡用牛刀。
配置好高可用后,我又想到一个问题:如果 Redis 重启,计数器会不会丢?
我查了一下 Redis 的持久化机制:
RDB vs AOF
| 持久化方式 | 数据安全 | 性能影响 | 恢复速度 |
|---|---|---|---|
| RDB(快照) | 可能丢失几分钟数据 | 低 | 快 |
| AOF(追加日志) | 最多丢 1 秒 | 中 | 慢 |
| RDB + AOF | 最多丢 1 秒 | 中 | 中 |
如果 Redis 配置了 AOF,最多只丢 1 秒的数据。但对于 ID 生成器来说,即使丢失,也只是少了一小段 ID,不会导致重复。
更安全的做法:启动时校准计数器
为了更保险,我加了一个校准逻辑:启动时从数据库查询最大 ID,确保 Redis 计数器不会比数据库小:
落地思路
- 启动时从数据库查当前的最大 ID,比如
SELECT MAX(id) FROM urls。- 把查到的值加上一个安全余量(本章取 1 万),再
SET成这个值,让新分配的 ID 一定大于历史最大值。- 校准必须在开始对外服务之前完成,否则这几秒内分配的 ID 可能和历史数据撞上。
- 兜底是数据库不可用时不要盲目重置计数器:宁可服务暂时不可用,也不要把计数器写回一个偏小的值。
这样即使 Redis 完全丢失数据,重启后也能从数据库恢复,并且加 1 万的安全余量,绝对不会重复。
解决了高可用问题,我开始优化性能。Redis INCR 虽然快,但每次生成 ID 都要请求 Redis,网络开销不小。
我想到了一个优化方案:批量预取 ID。
落地思路
- 一次 INCR 一个太浪费,改成一次申请一批:用一段 Lua 脚本把「自增 N 个并返回区间」做成原子操作。
- 应用本地维护一个取号游标,从预取区间里依次发号,发完再申请下一批。
- 批量大小决定了 Redis 请求次数:按每 100 个 ID 一次请求计算,Redis 的压力降到原来的百分之一。
- 兜底是本地区间用完、服务又重启时,预取但未使用的 ID 直接作废——浪费 ID,不会产生重复。
批量预取后,每 100 个 ID 只需要 1 次 Redis 请求,性能提升了近百倍!
不过这个方案也有个小问题:如果服务重启,预取但未使用的 ID 会丢失。但这只是浪费了一些 ID,不会导致重复,完全可以接受。
上线一周后,我对比了两种方案:
| 特性 | Redis 计数器 | 雪花算法 |
|---|---|---|
| 实现复杂度 | ⭐ 非常简单 | ⭐⭐⭐ 复杂 |
| 依赖外部服务 | Redis | 无 |
| 性能 | 10-50K QPS | 400 万+/秒 |
| 全局递增 | ✅ 严格递增 | ❌ 趋势递增 |
| 时钟依赖 | ❌ 无依赖 | ✅ 强依赖 |
| 高可用 | 需要 Redis HA | 天然高可用 |
| ID 长度 | 从 1 开始,很短 | 64 位,较长 |
| 机器 ID | 不需要 | 需要分配 |
| 可读性 | ✅ 短码短 | ❌ 短码较长 |
我的最终选择
我决定在项目中同时支持两种方案:
落地思路
- 两种生成器实现成同一个接口,运行时按配置切换,业务代码不用感知底下用的是哪一种。
- 默认走 Redis 计数器:实现简单、ID 短、严格递增,适合日生成量在百万以内的场景。
- 需要分布式或更高吞吐时切到 Snowflake:ID 更长、不依赖外部服务,机器 ID 的分配和时钟回拨由那一套自己负责。
- 兜底是切换要保留回退路径:配置项留好,线上出问题时能把生成器换回另一个方案继续服务。
对于小规模应用(日生成量 < 100 万),Redis 计数器足够了;对于超大规模应用,Snowflake 更合适。
- Redis INCR 的性能瓶颈在哪里?单节点最多能支持多少 QPS?
- 如果 Redis 计数器丢失了,怎么保证新生成的 ID 不和已有的冲突?
- 批量预取 ID 时,如果服务重启了,预取但未使用的 ID 会怎样?
发现内容有问题?
告诉我们哪里需要改进。
