小红书精读:Revisiting Generative vs. Dense Retrieval: A Static Value Prior Reverses the Gap

less than 1 minute read

14B生成检索输给47倍小模型

各位算法同学们,14B 的 SID-LLM 在工业电商数据上,还是打不过一个参数量小 47 倍的 dense encoder。这篇把 GR 和 DR 的输赢拆到指标层,结论不是谁全面更强,而是你用什么指标,谁就赢。

📄 Revisiting Generative vs. Dense Retrieval: A Static Value Prior Reverses the Gap

🔧 先定义互补指标:best relevant item value 和 whole-list value,补上 exact-target recall 看不到的替代品价值。GR 在两者都覆盖的用户里 best item value 赢,DR 在 exact-target recall 和整列相关价值上赢。

🧩 分解 GR 的价值领先,发现 popularity 是最大来源:在 GR 赢的用户里,popularity 贡献 49.8%(Amazon Toys 2014)和 65.4%(2023)。

⚙️ 提出 training-free 的静态 item value prior,只给 DR 加一步 rerank,就反转 best-item value 差距,同时 recall 仍高于 GR。

📊 Amazon Toys 2014 有 11,924 个 item、19,412 条用户历史,采用 leave-last-out 划分。

📈 2023 catalog 规模大 13.6×,value 权重和 rerank 系数从 2014 直接迁移,结论还在。

✅ 工业级内部电商数据用 LLM 判相关性,14B SID-LLM 仍低于小 47× 的 dense encoder。

📉 cold target、substitute credit、random control、graded relevance 等检查里,没有稳定看到 GR 优势。

如果只盯 Recall@10 或 target NDCG,容易把 popularity 误读成 GR 的能力。落地前先看指标是否只奖励 held-out item,再试 DR 加一步 value rerank 的性价比。坑是 value 权重是透明代理,不是通用推荐效用,换业务得重新校准。

原文:AlphaXiv

Updated: