小红书精读:ReSID: Rethinking Long-Tail Retrieval in Generative Recommendation through Item Reachability

less than 1 minute read

长尾召不回,问题可能不在模型

各位算法同学们,生成式推荐长尾召回差,很多人的第一反应是模型没学好,但阿里国际这篇的结论是:信号大概率已经学到了,是 beam search 在解码早期就把尾部候选的路径剪没了。图 1 里尾部目标的精确路径比头部早得多地丢光,而头部还好好的。这篇有意思的地方在于,它把 SID 构建、解码、匹配三段串起来算了一次“可达性”的账,而不是只盯训练目标。

📄 ReSID: Rethinking Long-Tail Retrieval in Generative Recommendation through Item Reachability

🔧 同等码长下,并行 SID 比串行 SID 对长尾更友好。逻辑是串行残差会逐层累积热门偏置,并行则把语义切成独立子空间、位置间误差互不传染。在码空间完全相同(256³ = 16⁶)的前提下,短码配置把 Tail Recall@200 从 8.62% 提到 13.02%,长码配置把尾部有效覆盖从 4.70% 提到 9.16%。

🧩 完整 SID 生成失败不等于没有信息。并行结构下剩余位置的 token 仍是局部一致的,把精确匹配放宽成部分匹配,就能从这些残留 token 里捞回相关尾item。图 1(b):头部可达率 41.32%→59.77%,尾部 9.75%→41.56%,尾部涨得更凶。

⚙️ 但这种恢复有硬上限,卡在上游 beam。给定容错度,只要 beam search 在早期把所有可能补全的前缀剪干净,后面匹配再花哨也救不回来。ReSID 因此做了两件事:beam 打分去流行偏置,不让头部霸占窄 beam;用用户行为语义引导搜索方向,再配合部分 SID 匹配把幸存 token 兑现成候选。

📊 线上主流量:广告收入 +1.3%,CTR +1.1%,GMV +0.8%,长尾曝光占比 +4.0%。 📈 窄 beam 下召回的相关尾item反而更多,延迟更低、吞吐更高,这一点比单纯涨点更有工程意义。 ✅ 离线在长尾召回与覆盖类指标上是 SOTA,整体准确率保持竞争力;对比 Ghost 那类靠牺牲整体换长尾的做法,这是明显的取舍差异。

总结:如果你在做生成式推荐、线上 beam 又开不大,这套排查顺序可以照搬——先看 SID 是串行还是并行,再统计精确匹配丢掉了多少“半对”序列,最后看 beam 剪枝位置。需要提前预判的问题是部分匹配会带来误召回,容错度和去偏强度得重新调;另外它依赖长并行 SID,短码或小码本的场景收益未必有这么大。

原文:AlphaXiv

Updated: