小红书精读：Residual Trajectory Distillation for Generative Retrieval

15个评测全涨，靠的是被丢掉的信息

各位算法同学们，生成式检索里有个被默许的浪费：用RQ构建语义ID时，只有最终那个硬SID被拿来当监督目标，产生它的残差轨迹训练完就扔了。ResTD这篇做的就是把这部分索引过程信息捡回来灌进检索训练，多语言电商检索ESCI上15个评测设置全线上涨，而且索引和推理流程一行没改。

📄 Residual Trajectory Distillation for Generative Retrieval

🔧 先说问题：同一个硬SID，可能来自对竞争码本完全不同的偏好。只监督最终码，等于把这些局部几何差异压成同一个目标，也丢掉了“后面几层量化会怎么选”的线索。

🧩 解法是把冻结的RQ索引器当过程老师：沿存储的SID路径重建残差诱导的码本偏好分布，再蒸馏到query条件下的SID解码状态里，共享的是同一套码本空间。

⚙️ 还做了多horizon监督：不只对齐当前层，前面几个解码状态也被后续若干层量化决策的码本偏好监督（论文展示H=4），让早期状态在SID后缀进上下文之前就编码它的信息。

📊 ESCI英语、西班牙语、日语三个语言，15个评测设置全部优于强基线。

📈 控制实验里，残差导出的目标赢过未来硬token监督、只用码本的软目标，也赢过其他item的形状匹配teacher。

✅ 表征探针显示，未来码本偏好从早期解码器状态里变得更可恢复。

📈 同一套思路扩到生成式推荐，多个数据集也一致提升。

总结：如果你在做RQ-SID的生成式检索或生成式推荐，它的切入点很实在——不动索引、不动推理，只在训练多挂一路蒸馏。坑也明确：残差邻近不等于query相关，附近码可能是别的item或无效路径，加上collision resolution会让存储SID和重建残差偏好的码不一致，直接蒸会和离散目标打架，作者是用锚定加一致性约束压住的。实际要盯的是下游召回/排序指标，对照组至少要跟“只用码本软目标”比，光看SID预测loss没意义。

原文：AlphaXiv