小红书精读:PEARL: Unbiased Percentile Estimation via Contrastive Learning for Industrial-Scale Livestream Recommendation

less than 1 minute read

直播推荐去偏:别回归时长,估分位 🎯

各位算法同学们,同一个视频,有人看10秒有人看10分钟,直接回归观看时长会怎样?高活用户把训练信号带偏,模型学到的是“谁爱刷”而不是“谁喜欢”。PEARL 的思路很干脆:不估绝对时长,只估这个用户自己的分位。上线 A/B 里举报率降了 6.91%,这个数字比涨时长更值得看。

📄 PEARL: Unbiased Percentile Estimation via Contrastive Learning for Industrial-Scale Livestream Recommendation

🔧 不需要辅助模型估分布:把预测目标从绝对互动量换成用户内的相对分位,直接用训练数据里天然存在的成对样本做对比(同一用户两次互动谁看得更久),用 BCE 学相对顺序。相比 RAD 那套先估条件互动分布再转分位的做法,少了一层估计误差和一套线上分布追踪。论文给了理论证明:这类成对比较得到的就是分位数偏好信号的无偏估计。

🧩 稀疏离散反馈用预测做平滑:点击、送礼这类是离散标签,经验分位太粗、样本太薄,用基于预测的 bootstrapping 把粗糙经验分布换成连续先验,缓解标签稀疏带来的抖动。

⚙️ 加权形式加协同训练:value-weighted 形式让不同互动的重要性可以不同;co-training 引入互补监督信号,让表征学和排序目标同时受益,不是单纯换个 loss。

📊 离线:多个排序目标上 User AUC 稳定提升,行为偏置得到明显缓解。

📈 线上 A/B(十亿级用户的直播推荐系统):Watch Duration +2.10%,Consumption Amount +0.80%,Interaction Rate +1.49%。

✅ Report Rate -6.91%,而且时长是涨的,不是靠推更刺激的内容换来的。

适合直播、短视频这类“用户行为强度差异大、回归目标长尾”的排序场景。落地要盯两件事:成对样本是否够密(决定分位估计方差),以及离散目标上的平滑强度,照搬权重容易过平滑。如果你们还在用需要辅助分布模型的去偏方案,这个是更轻的替代路径。

原文:AlphaXiv

Updated: