小红书精读:Training with Missed Targets in Generative Recommendation: Separating Supervision from Probability Competition

less than 1 minute read

补全漏掉的正样本,排序反而更差?

各位算法同学们,把生成器漏掉的正样本补进重排训练列表,居然可能把真正能上线的排序搞坏?这篇工作就是来拆这个反差的:不补浪费监督信号,补了却可能让只在训练时出现的候选跟推理候选抢概率,最后伤到的偏偏是返回项的排序。

📄 Training with Missed Targets in Generative Recommendation: Separating Supervision from Probability Competition

🔧 先把「补全」拆开:往重排训练列表追加漏掉的目标,同时改了三件事——检索命中目标的权重被稀释、多了对追加目标的监督、两组开始抢同一份概率。所以「补/不补」的消融其实说明不了任何一件事。 🧩 于是构造三个匹配损失,WN→Cond→Full,检索目标权重全程固定,一次只加一个条件。中间的 Cond 让两组各自归一化,训练才有的目标不再和推理候选竞争概率。 ⚙️ 结论指向很清楚:出问题的是跨组概率竞争,不是追加监督本身。

📊 Amazon Video Games 上四组预设对比,去掉组间竞争后 FT-NDCG 提升 7.8%–22.2%。 📈 用户维度 95% 区间全部排除 0,训练轮次维度四个里三个排除 0。 ✅ 还给了一条能落地的判断规则:一个留出类目下三个生成器里两个采纳追加训练,另一个类目下三个全部拒掉,避开了 1.7% 的损失。已发布的 OneRec 上也能看到竞争带来的返回项排序退化。

总结:做生成式召回下游重排、而且推理时候选池锁死的同学,这套拆分可以直接当消融模板用。落地别默认开补全,逐生成器在 dev set 上做一次决策,盯 FT-NDCG 这类全目标指标,别只看命中样本上变好的数。一个坑要注意:训练组里只有一个追加目标时 Cond 会退化成 WN,这时你根本测不出竞争的影响。

原文:AlphaXiv

Updated: