黑名单:建立和维护黑名单机制

场景:屡教不改的黄牛,怎么办?😤

你发现了吗?单纯的账号封禁对黄牛来说不痛不痒——他们可以无限注册新账号,或者从黑产市场购买账号。

黑名单机制的核心思想是:不仅要封账号,还要封设备、封 IP、封身份,让黄牛”无处可逃”。


黑名单体系架构 🏗️

黑名单不是一张简单的列表,而是一个多维度的防御网络。封掉一个账号,黄牛还能换;但如果设备、IP、支付、收货地址全被锁死,黄牛就束手无策了。


黑名单数据结构 📋

黑名单要同时满足两个互相矛盾的要求:在线判定必须快到可以放在请求链路上,历史记录必须完整到可以用来复核和申诉。所以它必然是两层结构。

┌─────────────────────────────────────────────────────┐
│  在线层(Redis)—— 判定用,毫秒级                    │
│  bl:account:{userId}     账号黑名单                 │
│  bl:device:{deviceId}    设备黑名单                 │
│  bl:ip:{ip}              IP 黑名单                  │
│  bl:payment:{account}    支付账号黑名单             │
│  bl:address:{hash}       收货地址黑名单             │
│  → 全部带 TTL,到期自动失效,不需要定时清理任务      │
└─────────────────────────────────────────────────────┘
                        ↕ 异步同步
┌─────────────────────────────────────────────────────┐
│  存储层(MySQL)—— 审计用,可查历史                  │
│  blacklist          黑名单主表(谁、为什么、封多久)  │
│  blacklist_relation 关联关系表(这条记录牵连了谁)   │
└─────────────────────────────────────────────────────┘

主表结构:

CREATE TABLE blacklist (
    id           BIGINT PRIMARY KEY AUTO_INCREMENT,
    type         VARCHAR(16)  NOT NULL,   -- account/device/ip/payment/address
    target       VARCHAR(128) NOT NULL,   -- 被封的具体标识
    reason       VARCHAR(256) NOT NULL,   -- 命中哪条规则/哪个来源
    level        VARCHAR(16)  NOT NULL,   -- observe/limit/block/ban/forever
    expire_at    DATETIME     NULL,       -- NULL = 永久
    source       VARCHAR(32)  NOT NULL,   -- auto/manual/report/third_party
    operator     VARCHAR(64)  NULL,       -- 人工操作人
    created_at   DATETIME     NOT NULL,
    UNIQUE KEY uk_type_target (type, target, expire_at)
);

CREATE TABLE blacklist_relation (
    id           BIGINT PRIMARY KEY AUTO_INCREMENT,
    source_type  VARCHAR(16)  NOT NULL,   -- 发起封禁的维度
    source_id    VARCHAR(128) NOT NULL,
    target_type  VARCHAR(16)  NOT NULL,   -- 被牵连的维度
    target_id    VARCHAR(128) NOT NULL,
    relation     VARCHAR(32)  NOT NULL,   -- same_device/same_ip/same_address
    created_at   DATETIME     NOT NULL
);

为什么主表要留 relation:封一个设备,往往能顺藤摸瓜找出它关联的 20 个账号。但这些账号是”因为共用设备被牵连”,不等于”账号本身有问题”。把关联关系单独存下来,申诉时才能只解封被误伤的账号,而不动真正有问题的设备。

唯一的索引 (type, target, expire_at) 是幂等键:同一条记录重复写入不会产生第二行,也就不会出现”封禁时长被意外叠加”的 bug。

在线层用 String 还是 Set:单个维度(一个账号是否被封)用 String 最省内存,一个 Set 存 ban:account 也能用,但无法为每个元素设置独立 TTL。所以这里用一个 key 一个主体 + TTL 到期自动删除的方案,简单且不需要清理任务。代价是没法”一次查出某设备封过的所有账号”,这个需求由 MySQL 侧的关联表满足。

布隆过滤器是可选的加速层:数据量大到 Redis 查不动时,用布隆过滤器先判断”肯定不在黑名单”,直接放行,避免每次都回源。它有误判率(把不在的当成在,约 1%),但不会有漏判——绝不会把在黑名单里的判成不在,所以用它做”快速放行”是安全的。

黑名单核心实现 💻

添加黑名单

封禁不是”往 Redis 里塞一个 key”,而是一条有前置判断、有关联扩散、有审计记录的流程:

① 判定来源
   自动规则引擎 / 人工审核 / 用户举报 / 第三方数据
      ↓
② 幂等检查:这条记录是否已经存在?
   ├─ 存在 → 更新到期时间和封禁级别,不重复插入
   └─ 不存在 → 继续
      ↓
③ 写 MySQL 主表(先写存储层,再写在线层)
      ↓
④ 写 Redis 在线 key,按封禁时长设置 TTL
      ↓
⑤ 关联扩散:把同一设备/IP 下的其他主体记入 relation 表
   (只记录,不自动封禁)
      ↓
⑥ 广播失效:通知各节点刷新本地缓存
      ↓
⑦ 审计:记录操作人、命中规则、原始证据快照

为什么先写 MySQL 再写 Redis:反过来的话,Redis 写成功、MySQL 写失败,就会出现”封了但查不到记录”的黑洞——用户申诉时无法自证清白,运营也无法复核。先写存储层,即使 Redis 写失败,补偿任务也能从 MySQL 把在线状态补回来。

核心实现:

def add_blacklist(target_type, target_id, reason, level,
                  duration_days=None, source='auto', operator=None,
                  relations=None):
    """添加黑名单。duration_days=None 表示永久封禁。"""
    expire_at = None if duration_days is None else now() + timedelta(days=duration_days)

    with db.transaction():
        # 幂等:同类型同主体只保留一条有效记录
        exists = db.query(
            "SELECT id FROM blacklist WHERE type=%s AND target=%s "
            "AND (expire_at IS NULL OR expire_at > %s)",
            (target_type, target_id, now()))
        if exists:
            db.execute(
                "UPDATE blacklist SET level=%s, expire_at=%s, reason=%s WHERE id=%s",
                (level, expire_at, reason, exists.id))
            record_id = exists.id
        else:
            record_id = db.insert(
                "INSERT INTO blacklist (type,target,reason,level,expire_at,source,operator,created_at)"
                " VALUES (%s,%s,%s,%s,%s,%s,%s,%s)",
                (target_type, target_id, reason, level, expire_at, source, operator, now()))

        # 关联扩散:只记关系,不自动封禁被牵连的主体
        for rel in (relations or []):
            db.execute(
                "INSERT IGNORE INTO blacklist_relation"
                " (source_type,source_id,target_type,target_id,relation,created_at)"
                " VALUES (%s,%s,%s,%s,%s,%s)",
                (target_type, target_id, rel['type'], rel['id'], rel['relation'], now()))

    # 在线层:Redis 写入(TTL 到期自动失效)
    key = f"bl:{target_type}:{target_id}"
    if expire_at is None:
        redis.set(key, json.dumps({
            'level': level, 'reason': reason, 'source': source, 'record_id': record_id
        }))                                    # 永久封禁不设 TTL
    else:
        ttl = max(1, int((expire_at - now()).total_seconds()))
        redis.setex(key, ttl, json.dumps({
            'level': level, 'reason': reason, 'source': source, 'record_id': record_id
        }))

    invalidate_local_cache(target_type, target_id)
    audit_log('blacklist.add', target_type, target_id, level, reason, operator)
    return record_id

关联扩散的边界:封禁一个账号时,不要自动封掉它的设备。理由很直接——公司电脑、家庭 Wi-Fi 上可能有多个同事共用一台设备,自动封设备会把无辜用户一起封掉(这正是 7.3 节统计里”误杀的主要是共用设备/网络的用户”的来源)。正确做法是:

封账号 A(确认是黄牛)
   ↓
记录:A 的设备 D、IP P、地址 X
   ↓
封禁 D 吗?→ 不自动封
   ↓
而是:把 D 标记为"关联风险",后续该设备上的新账号提高风险分
   只有当 D 自身也出现独立违规证据时,才升级为封禁

封禁级别不是一个布尔值。同样是”在黑名单里”,“观察”和”永久封禁”对用户的影响完全不同:

级别含义请求时的处置建议时长
observe观察名单正常放行,只记录行为、提高风险分7 天
limit限制限流收紧、要求验证码7-30 天
block拦截该维度直接拒绝下单30 天-1 年
ban封禁禁止下单 + 禁止参与其他活动1 年
forever永久封禁不可恢复,需人工特批永久

时长上参考后面的统计数据:IP 黑名单以 7 天、30 天为主(误杀风险最高,IP 共享),设备黑名单以永久为主(设备指纹的置信度最高),账号黑名单以永久和 1 年为主。

检查黑名单

检查走的是主路径,所以它必须快——99.9% 的请求是不在黑名单里的,这条路径要做到”绝大多数请求只查一次 Redis”。

① 布隆过滤器(数据量大时启用)
   ├─ 肯定不在 → 直接放行,不查 Redis ❌ 不会漏判
   └─ 可能在 → 继续
      ↓
② Redis 一次性取出全部维度的 key
   MGET bl:account:{userId} bl:device:{deviceId} bl:ip:{ip}
        bl:payment:{payAcc} bl:address:{addrHash}
      ↓
③ 全部未命中 → 放行(这是绝大多数请求)
      ↓
④ 命中任一 → 查 MySQL 拿完整记录(原因、来源、期限、申诉入口)
      ↓
⑤ 按封禁级别处置:观察 / 限流 / 拦截 / 封禁

用 MGET 一次性取回所有维度,而不是逐个 GET:5 次往返压缩成 1 次,这在大促流量下差别明显。

def check_blacklist(ctx):
    keys = [
        f"bl:account:{ctx.user_id}",
        f"bl:device:{ctx.device_id}",
        f"bl:ip:{ctx.ip}",
        f"bl:payment:{ctx.payment_account}",
        f"bl:address:{ctx.address_hash}",
    ]
    hits = redis.mget(keys)          # 一次往返

    for key, raw in zip(keys, hits):
        if raw:
            record = json.loads(raw)
            record['dimension'] = key.split(':')[1]
            return build_decision(record)   # 按 level 返回处置动作

    return Decision(pass=True)              # 未命中:绝大多数请求走这里

两个实现要点:

  1. 未命中路径必须零额外开销。所以不要在未命中时去查 MySQL 确认一遍,也不要为每个用户预生成黑名单 key——Redis 里没有这个 key 本身就是”不在黑名单”的答案。
  2. 命中之后要能解释。拦截用户时,接口要能返回”你的设备 xxx 于 xxx 时间因 xxx 被限制”,否则用户只会觉得”系统坏了”,而不是知道自己触发了什么规则。

本地缓存要慎用。黑名单的变更必须立即生效(刚被封禁的账号不能还能下单),所以本地缓存只能缓存”未命中”的结果,且 TTL 要极短(1-5 秒),并且封禁动作必须广播失效。本地缓存的收益在正常用户上很大——99.9% 的请求只查本地。


自动封禁规则引擎 🤖

手工封禁永远追不上黄牛的速度——脚本可以在 1 分钟内注册 100 个账号。规则引擎要做的是把”什么行为算违规”表达成可执行的规则,让系统自己下判断。

规则的结构:

字段说明示例
条件触发条件(计数类、行为类、关联类)同一设备 24 小时内注册并下单 > 5 个账号
动作命中后做什么封禁设备 1 年 + 关联账号进入观察名单
时长封多久365 天
置信度这条规则有多可靠0.9(高)
生效范围全局 / 仅大促活动全局
冷却同一人多久内不重复触发7 天

规则的分类:

计数类:同设备注册账号数、同 IP 下单次数、同收货地址下单数
        → 简单、可解释,是主力规则

行为类:操作间隔标准差过小、点击落点过于集中、鼠标轨迹为直线
        → 来自 7.2 节的行为分析,信号强但需要持续调阈值

关联类:黑名单设备的关联账号、命中过验证码的账号
        → 依赖 blacklist_relation 里的关联关系

第三方类:行业黑名单共享、支付渠道风险名单
        → 覆盖自有数据看不到的部分

执行时机——规则既要有实时触发,也要有离线扫描:

实时触发:请求链路里风险分越过阈值 → 立即执行对应动作
离线扫描:定时任务(如每小时)扫描历史数据
         → 找出"单笔不违规、累计违规"的情况
         → 例如同一支付账号在 3 天内给 20 个不同地址下单

只有实时触发是不够的:很多违规是”低频但持续”的,实时链路永远看不到它们。

执行前必须有冷静期。这是降低误杀最有效的手段:

第一次命中规则 → 不封禁,进入冷静期(24-72 小时),只提高风险分、收紧限流
第二次命中     → 仍然只观察,标记为"待复核"
冷静期内再命中 → 确认性证据,执行封禁

为什么这样有效:黄牛的批量行为几乎必然在冷静期内重复出现(脚本每次跑都是同一套动作),而正常用户的偶发误触不会在几天内反复发生。冷静期把”一次异常”和”持续异常”区分开了,也就自动过滤掉了偶发误杀。

高置信度规则可以跳过冷静期,比如”操作间隔标准差 < 5ms 且点击落点标准差 < 1px”这种组合——正常用户不可能同时满足。规则表里要显式标注 skip_cooldown,避免所有规则都走同一条保守路径。

所有自动封禁都必须留痕:命中了哪条规则、当时的完整证据、冷静期内的历史记录。申诉时(见下节)这份记录是唯一依据,也是事后复盘”这条规则是不是太严了”的输入。

规则引擎本身要被监控:

指标含义异常含义
每条规则的日命中数规则触发量突增说明有新型攻击或阈值失效
每条规则的确认率冷静期后仍违规的比例偏低说明误杀偏高,该调阈值
自动封禁总量封禁规模要和申诉量一起看,才能算出误杀率
规则执行失败数执行报错数失败意味着有人绕过了规则

黑名单统计数据 📊

黑名单类型数量占比平均封禁时长
账号黑名单15,23445%永久 60%,1 年 30%,30 天 10%
设备黑名单8,45625%永久 80%,1 年 20%
IP 黑名单5,67817%7 天 50%,30 天 40%,永久 10%
支付黑名单2,3457%永久 70%,1 年 30%
地址黑名单1,8906%永久 50%,1 年 50%

封禁效果统计:

  • 每日拦截请求:~50,000 次
  • 黄牛账号识别率:~92%
  • 误杀率:< 0.5%
  • 申诉解封率:~15%(误杀的主要是共用设备/网络的用户)

申诉与解封机制 ⚖️

黑名单是这套体系里唯一会直接伤害用户的机制。规则再准也会有误杀,而误杀一次的成本(一次投诉、一次不信任)远高于放过一个黄牛的成本。所以申诉通道不是”锦上添花”,它是黑名单机制能长期运行的前提。

申诉入口:拦截提示里必须带一个明确的入口和原因说明——

"您的账号因『同一设备注册账号数异常』被暂时限制。
 如果这是误判,请点击这里申诉,1 个工作日内处理。"

处理流程:

① 用户提交申诉(需要登录验证身份)
      ↓
② 自动初审:命中的是哪条规则?该规则的误杀率是多少?
   ├─ 高误杀率规则 → 转人工
   └─ 高置信度规则 → 转人工(不自动通过)
      ↓
③ 人工复核:看证据快照(设备关联图、行为数据、历史订单)
      ↓
④ 裁决
   ├─ 确认违规 → 维持封禁,向用户说明原因
   └─ 误判 → 解封 + 修正规则阈值 + 加入误杀样本库
      ↓
⑤ 回写:如果该账号是被"关联"牵连的(如设备黑名单),
   只解封账号,不动设备;反之才解除对应维度的记录

第 ⑤ 步是最容易出错的地方。一个设备被永久封禁后,关联它的 20 个账号可能全部被牵连封禁。申诉时如果只解封了账号、没解封设备,用户换个账号又会被封——这会迅速把用户推向”这个平台没法用”的结论。解封必须按维度精确回滚,并同时更新 MySQL 主表、Redis 在线 key 和关联关系表。

解封的实现:

def revoke(record_id, operator, reason):
    with db.transaction():
        record = db.query_one("SELECT * FROM blacklist WHERE id=%s", (record_id,))
        # 只解封被指名的这一条,不动其他维度
        db.execute("DELETE FROM blacklist WHERE id=%s", (record_id,))
        # 解除由这条记录产生的关联关系
        db.execute("DELETE FROM blacklist_relation WHERE source_type=%s AND source_id=%s",
                   (record['type'], record['target']))

    key = f"bl:{record['type']}:{record['target']}"
    redis.delete(key)
    invalidate_local_cache(record['type'], record['target'])
    audit_log('blacklist.revoke', record['type'], record['target'], operator, reason)

到期自动解封:带 TTL 的封禁由 Redis 自动失效,但 MySQL 里的记录还在。所以需要定时任务把已过期的记录标记为 expired 并归档——在线判定以 Redis 为准,离线审计以 MySQL 为准,两者的时间一致性由这个归档任务保证。归档而不是删除,是为了保留”这个人曾经被封过”的历史。

申诉量是核心健康指标。后面的统计里”申诉解封率 ~15%“,这个数字要盯着看:

指标健康范围超标说明
申诉解封率< 20%规则太严,需要调阈值
申诉处理时长< 24 小时审核人力不足,用户流失
单条规则申诉集中度均衡某条规则申诉占比过高 → 该规则有问题
申诉后再次违规率越低越好解封太宽松,被反复利用

最核心的一条纪律:申诉数据是规则调优最好的输入。每次申诉都标注了”哪条规则、什么证据、为什么误判”,这些样本应该直接回流到规则引擎的阈值调整里。否则规则只会越调越严,最后把真实用户全部挡在门外。


想一想

问题 1:IP 黑名单会不会误杀正常用户(比如公司/学校的共享 IP)?

点击查看答案

是的,这是一个已知问题。解决方案:

  1. 共享 IP(公司/学校/网吧)谨慎使用 IP 黑名单
  2. 优先使用设备指纹和用户行为识别
  3. IP 封禁时长设置较短(7-30 天),减少误杀影响
  4. 提供申诉渠道,快速解封误杀用户
  5. 使用 IP 信誉库,区分住宅 IP 和数据中心 IP

问题 2:黄牛购买”干净”的新设备和账号,如何识别?

点击查看答案

这是最棘手的情况。综合策略:

  1. 新设备 + 新账号 + 异常行为 → 高风险
  2. 购买时的行为分析(操作速度、鼠标轨迹等)
  3. 收货地址/电话与历史黄牛数据比对
  4. 支付账号关联分析
  5. 与其他平台共享黑名单(行业联盟)

问题 3:黑名单数据量太大,如何优化查询性能?

点击查看答案

优化方案:

  1. Redis 缓存热点数据(最近添加的、高频查询的)
  2. 布隆过滤器(Bloom Filter)快速排除不在黑名单的
  3. 分库分表(按类型或时间分片)
  4. 定期归档过期数据
  5. 使用 Elasticsearch 进行复杂查询

发现内容有问题?

告诉我们哪里需要改进。