小红书精读：LIME: Link-based User-item Interaction Modeling with Decoupled XOR Attention for Efficient Test Time Scaling

候选集涨10倍，推理延迟几乎不动

各位算法同学们，候选集从几万涨到几十万，线上打分延迟几乎没怎么动——这篇把推荐推理成本从「跟候选数线性挂钩」里拆了出来。它正面碰的是那个老三角：长用户历史、大候选集、深度交叉，过去只能三选二。

📄 LIME: Link-based User-item Interaction Modeling with Decoupled XOR Attention for Efficient Test Time Scaling

🔧 低秩 link embedding 当中间桥：在用户历史和候选之间插一组固定大小的可学 link token，把一次完整 cross-attention 拆成用户侧个性化和候选侧交互两步，复杂度从 O(M·N) 降到 O(ℓ(M+N))。

🧩 真正省算力的是候选侧注意力权重 ϕ(TLᵀ) 只依赖候选和全局 link，与用户无关，可以对全库离线预计算并缓存；线上从矩阵乘变成查表加一次加权求和，单候选延迟基本不随用户历史长度走。

⚙️ LIME-XOR 把完整自注意力矩阵分解成 link 与用户序列之间的双向线性注意力，历史长度方向从 O(N²) 降到 O(N)。顺带一提，它和 Set Transformer 那类置换不变的摘要不是一回事，目标是保留序列性的目标感知排序表示。

📊 公开集与工业集上，性能接近 SOTA transformer（HSTU 一档），候选集大或序列长时推理快 10×。

📈 Figure 1 中 LIME-MHA 的延迟在候选数、用户历史长度、QK 维度三个维度上都最低也最平，曲线基本不抬头。

✅ 线上部署在服务数十亿用户的推荐平台，source rate 最高提升 38%，推理成本对候选集规模和历史长度都不敏感。

我的判断：做大规模排序、候选集和历史长度同时往上顶的团队，可以认真看这套结构，它给的是不砍表达的省算力路线。盯两个指标就够：延迟曲线是否真的对候选数平坦，以及 AUC/GAUC 相对全 cross-attention 的差距能不能接受。两个坑先说在前面：link token 数 ℓ 是关键超参，压太小表达力先掉；另外全库预计算权重的缓存一致性和更新延迟要在工程上想清楚，离线注意力和线上用户特征对不齐会很坑。

原文：AlphaXiv