小红书精读：Making Collaborative Signals Count: Graph-Aware Large Language Models for Sequential Recommendation

🔍LLM推荐里塞的CF向量，模型真没在看

各位算法同学们：先看一组归因分数——LLaRA 里文本 token 是 8.77，CF token 只有 0.05，差了两个数量级。也就是说，我们费劲从外部推荐模型里抽出来、再注入 LLM 的协同 embedding，模型在生成目标 item 时几乎没参考它。这篇工作就是正面处理这个 mismatch。

📄 Making Collaborative Signals Count: Graph-Aware Large Language Models for Sequential Recommendation

🔧 思路换了：不再找外部推荐模型提供 CF 表示，而是把用户历史里的 item token 和文本 token 放在一起，组成一张 token 级的协同图，里面有三类边——Text-Text 关系保留语义依赖，Item-Text 关系把每个 item token 连到它自己的标题描述上，Item-Item 关系则来自全局共现，也就是跨用户统计出来的 item 共现强度。

🧩 关键的一步是：这张图不经过图编码器，直接转成轻量的可学习 attention bias，加到 LLM 每一层注意力的 logits 上。这样一来，模型能感知全局共现信息，又不用修改 LLM 主干结构，只多出少量可训练参数。

⚙️ 对比之前靠 attention mask 的做法，区别在于那些方法只建模序列内部的先后依赖，而 Item-Item 边来自全局统计，多个用户的交互历史都能被联合利用。

📊 在四个公开 benchmark 上，GALLM 都是最优结果，HR@5 比最强 baseline 平均高 9.76%。

📈 NDCG@5 上平均提升 7.62%，而且是在全部数据集上一致拿到的，不是靠某个数据集把平均值拉上去。

✅ 代码已经开源，在 github 上搜 GALLM 就能找到，复现门槛不高。

我的判断是：如果你在做 LLM4Rec，而且试过“注入协同 embedding、线上却没动静”这条路，这篇的思路可以直接借鉴，成本主要在构造共现矩阵和调 bias 的分桶粒度上。需要特别留意两个问题：一是 Item-Item 边在长尾 item 上非常稀疏，冷启动场景下这部分 bias 可能等于没加；二是和 LLaRA 这类方法对比时，要把可训练参数量和训练数据对齐，否则这 9.76% 里有多少来自图结构、有多少来自额外参数，说不清楚。

原文：AlphaXiv