小红书精读：Rich-Media Re-Ranker: A User Satisfaction-Driven LLM Re-ranking Framework for Rich-Media Search

重排新方案：让LLM多看封面图

各位算法同学们，搜索重排光看文本已经不够了，封面图和多意图拆分才是用户满意的关键。这篇来自北航和百度的CIKM’26工作，直接把重排的NDCG@10刷到96.7%，比第二名高17个点，而且已经在工业系统上线。

📄 Rich-Media Re-Ranker: A User Satisfaction-Driven LLM Re-ranking Framework for Rich-Media Search

🔧 先上Query Planner，根据session里的query改写序列，把复杂query拆成多个互补子query，比如“北京旅游”会被拆成景点、演出、交通、住宿四个方向，再分别检索合并候选集。 🧩 引入VLM打分器，对封面图做相关性和质量两个维度的四级评分，评分结果直接作为特征喂给LLM重排器，解决纯文本忽略视觉信号的问题。 ⚙️ 重排原则不只看相关性，还综合信息增益、新颖性、封面图表现，并通过多任务GRPO对VLM和LLM做后训练，让模型适应具体业务场景。

📊 在1.4万条真实搜索query上，整体NDCG@10达到96.7%，Recall@10达到88.1%，分别比最强的baseline高17.1%和27.0%。 📈 复杂query和宽泛query提升更明显，复杂query的Recall@10达到89.3%，说明多意图拆分确实有效。 ✅ 消融实验显示，去掉LLM后训练NDCG@4直接掉12.1个点，去掉封面图评估也掉1.7个点，两个模块都不可缺。

总结：这套框架对富媒体搜索重排很有参考价值，尤其适合图文信息流场景。落地时要重点盯Query Planner的拆分质量和VLM打分与人工标注的一致性，否则LLM喂进去的视觉信号本身不准，排序结果也会偏。另外GRPO训练成本不低，小团队建议先用小模型验证reward设计再上规模。

原文：AlphaXiv