小红书精读：ReAlign: Reward-Guided Preference Alignment for Generative Re-Ranking

重排生成器终于吃到列表奖励了🔧

各位算法同学们，两阶段“先生成再打分”的老流水线有个结构性问题：打分器再准，生成器也看不到列表级收益，梯度根本传不回去。ReAlign 做的事就是把这条断掉的线接上。

📄 ReAlign: Reward-Guided Preference Alignment for Generative Re-Ranking（Intuit Credit Karma）

🔧 奖励模型不把一个列表压成单个标量，而是拆成位置贡献加和：到达概率用离散时间生存模型刻画用户往下滑的过程，物品价值用多个目标头分别输出、再按不确定性加权，奖励因此既可解释也能校准。

🧩 生成器是 candidate-aware 的自回归模型，两段训练：先在曝光日志上监督预训练拿到相关性先验，再用奖励做后训练对齐，绕开了从随机初始化直接做偏好优化在冷启动下已知的不稳定。

⚙️ 后训练目标包含分布对齐和排序对齐两项，都算在池内标准化后的奖励上，所以对奖励的绝对尺度和有界偏差不敏感，这点比直接拿原始奖励套 DPO 类目标更稳。

📊 离线实验结论是 consistent 优于现有 SOTA 基线，作者摘要没给单点数字，具体幅度要去表格里看。

📈 评估口径是列表级期望效用（到达概率乘物品价值），不是单物品分数，和基线比较时先确认是不是同一口径。

✅ 训练顺序有讲究：奖励模型先在日志曝光和参与信号上学好，再对生成器做后训练，顺序反了前面的对齐就白做。

真正能抄走的是两个零件：奖励按位置分解、奖励池内标准化。要注意的坑也很明确，奖励模型本身拟合的是日志曝光策略，生存模型的位置偏差和日志的选择偏差会被生成器一起放大。做重排或生成式推荐的同学，落地前先盯列表级效用和曝光位置分布有没有漂移，对照组建议选 PIER、Seq2Slate 这类两阶段方法，同口径再谈提升。

原文：AlphaXiv