个性化热度
传统的热门榜单采用统一的热度计算公式,对所有用户展示相同的内容排序。然而,不同用户的兴趣偏好存在显著差异,千人一面的推荐结果往往难以满足个性化需求。个性化热度通过引入用户兴趣因子,在基础热度分数上进行调整,实现「千人千面」的热点推荐。
个性化推荐的核心思想是:热度 = 基础热度 × 用户兴趣系数。
基础热度反映内容在全局范围内的受欢迎程度,由牛顿冷却模型计算得出,考虑了时间衰减、初始爆发力等因素。用户兴趣系数则衡量内容与特定用户的匹配程度,取值范围通常为 [0.5, 2.0]:
- 系数 > 1.0:内容与用户兴趣高度匹配,提升排名
- 系数 = 1.0:内容与用户兴趣无关,保持原热度
- 系数 < 1.0:内容与用户兴趣相悖,降低排名
这种设计既保留了热点内容的时效性特征,又融入了个性化推荐的优势,使榜单既能反映全局热点,又能贴合用户偏好。
用户兴趣标签是个性化推荐的数据基础,通常通过以下方式构建:
标签来源
- 显式行为:用户主动点赞、收藏、关注的内容类别
- 隐式行为:浏览时长、点击率、完播率等间接反馈
- 内容分析:用户历史交互内容的关键词、主题、情感倾向
- 社交关系:关注用户的兴趣偏好、圈子特征
标签结构
标签结构需要同时满足三个要求:能表达偏好强度、能反映偏好的时间性、能被快速检索。单个标签只记一个类目名是不够的——同样喜欢「科技」的用户,一个每天看科技内容、一个半年前看过一篇,权重显然不同。
推荐把标签拆成「维度 + 权重 + 证据」三部分,每条记录的结构如下:
| 字段 | 类型 | 说明 | 作用 |
|---|---|---|---|
user_id | string | 用户标识 | 主键前缀 |
dimension | string | 维度类型,如 category、keyword、author | 决定标签挂在哪个维度上 |
value | string | 维度取值,如「科技」「深度学习」 | 标签本身 |
weight | double | 偏好权重,区间建议为 0 到 1 | 参与相似度计算 |
behavior_count | int | 累计行为次数 | 用于抑制偶发行为 |
last_interaction_at | long | 最后一次交互时间戳 | 权重衰减与过期判断 |
source | string | 来源:explicit、implicit、content_analysis | 区分信号可信度 |
version | int | 版本号 | 增量更新时做乐观并发控制 |
一条实际的标签记录长这样:
{
"user_id": "u_10086",
"dimension": "category",
"value": "科技",
"weight": 0.82,
"behavior_count": 37,
"last_interaction_at": 1753180000,
"source": "implicit",
"version": 128
}
几个结构设计上的取舍:
- 用「标签 + 权重」而不是「标签 + 计数」。计数无法体现行为强度差异:一次主动搜索和一次误触点开的权重显然不同。权重是行为强度和时间的函数,由离线任务算好后写入。
- 保留
source字段。显式行为(点赞、关注、收藏)的可信度高于隐式行为(划过、误点)。需要时可以只取显式来源构建”高置信画像”,用于冷启动阶段的强推荐。 behavior_count是抑制噪声的关键。计算权重时,让行为次数参与饱和函数(例如 ),用户看了一百次和看了一次的增量收益会迅速递减,避免个别高频用户把画像带偏。- 标签数量必须有上限。用户兴趣标签天然会长到几百上千个,但真正影响排序的通常只有头部若干个。建议每个维度只保留权重最高的 N 个标签,其余合并到「其他」类目,既控制了存储和计算成本,也降低了噪声。
在 Redis 中的存储建议用 Hash 组织,一个用户一个 Hash,字段是 维度:取值,值为权重:
# 用户兴趣向量:一个用户一个 Hash,field 形如 category:科技
HSET user:interest:u_10086 category:科技 0.82 keyword:大模型 0.64 author:u_77 0.55
# 记录标签的更新时间,用于判断画像是否过期
SET user:interest:u_10086:ts 1753180000
# 设置过期时间,未活跃用户的画像可以自动回收
EXPIRE user:interest:u_10086 2592000
用 Hash 而不是每个标签一个 key,是因为查询时几乎总是「一次拿到这个用户的整个兴趣向量」,Hash 能避免几十次 GET 的往返。代价是无法按标签维度做全局检索——如果业务需要「找出对某标签敏感的用户」这类需求,就要额外维护一套倒排索引,那是另一套存储的职责。
权重计算
标签权重采用时间衰减机制,近期行为权重更高:
权重 = 行为强度 × 时间衰减系数
时间衰减系数 = e^(-λ × Δt)
- λ:衰减率(通常取 0.1-0.3)
- Δt:行为发生至今的时间(天)
个性化热度分数的计算公式如下:
PersonalizedScore = BaseScore × InterestFactor × DiversityBonus
其中:
- BaseScore:基础热度分数(牛顿冷却模型输出)
- InterestFactor:用户兴趣系数
- DiversityBonus:多样性奖励(可选)
用户兴趣系数计算
InterestFactor = 1.0 + α × SimilarityScore
SimilarityScore = Σ(内容标签权重 × 用户标签权重) / Σ(用户标签权重)
α:调节参数,控制个性化强度(通常取 0.5-1.0)
示例:假设用户对「科技」类别的权重为 0.8,当前内容的科技标签权重为 0.9,α = 0.7:
SimilarityScore = 0.9 × 0.8 / 0.8 = 0.9
InterestFactor = 1.0 + 0.7 × 0.9 = 1.63
该内容的个性化热度将提升 63%。
多样性奖励
为避免信息茧房,可引入多样性奖励机制:
DiversityBonus = 1.0 + β × (1 - CategorySaturation)
CategorySaturation:用户最近浏览内容中该类别的占比
β:多样性调节参数(通常取 0.1-0.3)
当用户过度消费某类内容时,降低同类内容的排名,增加曝光多样性。
架构设计
┌─────────────────┐ ┌──────────────────┐ ┌─────────────────┐
│ 内容入库 │────▶│ 基础热度计算 │────▶│ 个性化调整 │
│ (牛顿冷却模型) │ │ (BaseScore) │ │ (InterestFactor)│
└─────────────────┘ └──────────────────┘ └─────────────────┘
│
▼
┌─────────────────┐
│ 最终榜单 │
│ (排序输出) │
└─────────────────┘
核心方案落地
落地时把方案拆成三段:离线算画像、在线算系数、重排出结果。三段的边界划清楚之后,每一段都能独立压测和回滚。
第一段:离线计算用户兴趣向量。 用户行为进入 Kafka 后,由离线任务(Spark 或 Flink 批作业)按时间窗口聚合,更新每个用户的标签权重,写回 Redis。离线任务的产出是「用户当前对每个标签的偏好强度」,不涉及任何单条内容的判断。
第二段:在线计算兴趣系数。 请求到达时,从 Redis 取出该用户的兴趣向量,与候选内容的标签做相似度匹配,得出 InterestFactor。这一步是纯读加轻量计算,必须在毫秒级完成。
第三段:重排。 在基础热度排序的候选集上,应用兴趣系数和多样性奖励,产出最终顺序。
下面是第二段和第三段的参考实现:
from dataclasses import dataclass
@dataclass
class InterestVector:
"""用户兴趣向量:标签权重表,键为「维度:取值」。"""
weights: dict
@classmethod
def from_redis(cls, client, user_id: str) -> "InterestVector":
"""从 Redis 读取兴趣向量;读不到时返回空向量而不是抛异常。"""
try:
raw = client.hgetall(f"user:interest:{user_id}")
except Exception:
raw = {}
weights = {}
for field, value in raw.items():
if isinstance(field, bytes):
field = field.decode()
if isinstance(value, bytes):
value = value.decode()
weights[field] = float(value)
return cls(weights)
def total_weight(self) -> float:
return sum(self.weights.values())
@dataclass
class ContentItem:
"""候选内容。"""
content_id: str
base_score: float
tags: dict
category: str
def similarity_score(vector: InterestVector, item: ContentItem) -> float:
"""计算用户兴趣与内容标签的相似度。
归一化方式为「内容标签权重 × 用户标签权重 / 用户标签权重之和」,
即以用户画像自身的规模做归一,避免重度用户天然获得更高相似度。
"""
total = vector.total_weight()
if total <= 0:
return 0.0
matched = 0.0
for dimension, value in item.tags.items():
user_weight = vector.weights.get(f"{dimension}:{value}", 0.0)
if user_weight > 0:
matched += user_weight
return matched / total
def interest_factor(vector: InterestVector, item: ContentItem, alpha: float = 0.7) -> float:
"""兴趣系数,取值范围 [1 - alpha, 1 + alpha]。"""
return 1.0 + alpha * similarity_score(vector, item)
def diversity_bonus(recent_categories: list, item: ContentItem, beta: float = 0.2) -> float:
"""多样性奖励:用户近期消费越多的类别,奖励越低。"""
if not recent_categories:
return 1.0 + beta
saturation = recent_categories.count(item.category) / len(recent_categories)
return 1.0 + beta * (1.0 - saturation)
def rerank(
candidates: list,
vector: InterestVector,
recent_categories: list,
alpha: float = 0.7,
beta: float = 0.2,
) -> list:
"""在基础热度排序的候选集上做个性化重排。
只对候选集的头部做重排:长尾内容即便个性化系数再高也很难翻上来,
对全部候选集做计算既没有收益,也会拖慢响应。
"""
scored = []
for item in candidates:
factor = interest_factor(vector, item, alpha)
bonus = diversity_bonus(recent_categories, item, beta)
final = item.base_score * factor * bonus
scored.append((final, item))
# 分数相同时按内容 ID 排序,保证结果稳定可复现
scored.sort(key=lambda pair: (-pair[0], pair[1].content_id))
return [item for _, item in scored]
在线链路的三个工程要点:
- 兴趣向量要预计算并缓存。在线请求不应该去回放用户的历史行为。把画像计算放在离线,结果写 Redis,在线只做一次
HGETALL,是这一层性能达标的前提。 - 候选集要分层。先按基础热度取前 N 条,再在这 N 条里做个性化重排。个性化系数是一个乘性因子,基础热度排到几百名之后的内容,即使系数再高也很难进入首屏,为它做计算没有收益。
- 空画像要走降级。新用户没有任何兴趣向量时,
InterestVector.from_redis返回空向量,similarity_score返回 0,interest_factor退化为 1.0,也就是「不做个性化」。这正好是冷启动需要的行为——此时应该依赖多样性和探索策略,而不是硬凑一个画像。
灰度与回滚:
- 个性化系数 和多样性系数 都必须可配置、可灰度。建议先在 1% 流量上验证,再逐步放量。
- 每次参数变更要记录版本号,并与指标变化关联。个性化上线后如果点击率下降而留存上升,很可能是多样性权重过高,需要靠版本对照来定位。
- 保留关闭个性化的开关。出现异常时,能在不发版的情况下立刻退回纯热度排序。
性能优化策略
- 预计算用户兴趣向量:离线计算用户兴趣标签,缓存至 Redis,查询时直接读取
- 分层计算:先筛选出基础热度前 N 的内容,再进行个性化调整,减少计算量
- 增量更新:用户行为发生时增量更新兴趣标签,避免全量重算
- 异步计算:个性化分数计算采用异步队列,避免阻塞主线程
存储设计
数据设计要点
- 核心是在
user_interest_tags里保存业务事实,而不是把规则散落在应用逻辑里。- 索引服务于高频查询,重点是缩小扫描范围,而不是堆更多字段。
- 关键字段包括
user_id、categories、keywords、authors、recency_score、updated_at、content_id、score,它们决定后续查询和管理能力。
个性化热度通过将用户兴趣因子融入基础热度计算,实现了热点内容与用户偏好的平衡。核心要点包括:
- 基于牛顿冷却模型的基础热度保证时效性
- 用户兴趣标签通过多维度行为数据构建
- 兴趣系数采用相似度加权计算
- 多样性奖励机制避免信息茧房
- 预计算 + 缓存策略保障性能
该方案适用于新闻资讯、视频推荐、社交动态等需要兼顾热点与个性化的场景。
发现内容有问题?
告诉我们哪里需要改进。
