小红书精读:Better Rankers, Worse Retrievers: The Hidden Cost of RL Post-Training in Generative Recommendation

less than 1 minute read

RL后训练让召回悄悄掉了📉

各位算法同学们,你有没有想过:RL后训练把hit@10刷上去的同时,可能正在悄悄弄丢你的候选池?这篇论文用全库精确排序量了一把,RL后的模型在K=500处的召回是实打实地掉。

📄 Better Rankers, Worse Retrievers: The Hidden Cost of RL Post-Training in Generative Recommendation

🔧 作者把“只报top10”这个习惯性做法翻了个面:在五个数据集上做全目录精确排序,测到hit@K一直算到K=500。结果是在Office上增益到K≈20就转成损失,Industrial在K≈50翻转。同一个模型,做ranker更强,做retriever更弱。

🧩 原因定位得挺准。每个用户只记录一个next item,rollout里其余候选全被GRPO打上负advantage;可这些候选恰恰是模型眼里最合理的替代项,常常就是相似用户的下一个点击。商品集合又只有那么多条,同一个item会被大量用户反复罚,分数一路往下掉,掉出这些相似用户的候选列表。作者还验证了:只保留负advantage,召回损失至少放大三倍。

⚙️ 补救办法是一行loss:out-of-rollout anchoring。rollout内部GRPO原样不动,只额外加一项,保住SFT模型对rollout之外M个采样item的相对排序。作者的出发点就来自这个诊断:损伤发生在rollout外,保护外面就够了。

📊 Office上NDCG@10从11.59%升到12.55%,但hit@50从25.73%掉到24.22%,hit@500从52.84%掉到47.69%,SFT前500里的测试目标有22%不再出现。加anchor后,Office丢的5.1个点hit@500里找回4.4个,top端增益保留,五个数据集NDCG@10与GRPO持平。

📈 恢复点跟损失点对得上:K=50时,加anchor的模型在五个数据集上都是三者中最好的;在Office上,那些next item被罚得最狠的用户,hit@500比GRPO高20个点。

✅ 换成别的RL配置,anchor同样有效,说明它没绑死在某个超参上。

总结感想:如果你的生成式召回是级联里的召回层,候选是要往后传几百上千条的,那就别只看hit@10,至少把hit@100和hit@500一起报,否则容易在离线指标很好看的同时把下游可选项削掉一层。这里有个细节要注意:anchor的收益依赖SFT模型的排序质量,SFT本身排得乱的话,保住它也保不住多少;另外论文主要在五个公开数据集上验证,线上长尾分布更陡的场景还得自己补一轮评测。

原文:AlphaXiv

Updated: