小红书精读:Learning Generative Ranking Policies for Whole-Page Optimization
整页推荐不是单点最优拼盘,这篇给了新解法
各位算法同学们,把每个位置单独挑到最优的 item 拼在一起,整页往往不是最优的——这话不新,但少见的是真把“整页”做进生成器训练目标里的。它的核心一句话:每个位置该比的不是候选自己多好看,而是选了它之后整页能拿多少分。
📄 Learning Generative Ranking Policies for Whole-Page Optimization
🔧 位置级监督直接来自整页:在同一前缀下把每个候选放进去,让当前生成器 π_k 把剩下的位置补完,用补完的整页打分,再按 exp(score/τ) 重新加权得到这个位置的目标分布。每个位置学的是“对整页更好”的 item。
🧩 这个目标有闭式解,本质是 KL 正则下的重加权,和 MPO 那套同源;文中还证明了精确更新能提升期望页分,反复精确全量更新会收敛到最优页分。
⚙️ 训练分轮迭代:π_k 造数据、造目标,拟合出 π_{k+1},下一轮的数据和目标跟着新生成器重建。对比之下,模仿离线 beam 搜索固定目标的做法,目标不随生成器更新,容易训着训着就脱节。
📊 KuaiRand-1K 和 RL4RS-SeqSlate 上,分别覆盖多目标选品和带约束排序,每个长度设置都超过生成式重排 baseline 和几个代表性 RL 算法。
📈 和 prefix-score beam search 比,在每个测过的宽度和设置下页质量更高,实测平均生成时间低不少,serving 时不需要 evaluator 查询。
✅ 工业日志页数据集上同样超过 baseline;在已知最优页的合成 benchmark 上最接近最优。消融显示增益主要来自两件事:用完整页给候选打分,以及用更新后的生成器重建训练数据。
我的判断:线上已经有稳定 page evaluator、想把重排从“单点打分再排”改成整页联合决策的团队可以跟;evaluator 还没跑稳的先别急。要盯的就是页级分数和生成时延两个指标,坑在于 evaluator 的偏差会原样进到训练目标里,τ 和迭代轮数得调,分轮采样训练也比单轮蒸馏贵。
原文:AlphaXiv