小红书精读：SepLRM: A Foundation Model Paradigm for Recommendation

推荐大模型续命：一个底座带多个垂类

各位算法同学们，长序列堆到后面边际收益越来越薄，可每个推荐阶段、每个业务还在各自把同一份用户行为历史重新编码一遍——这部分算力花得最冤。SepLRM 要做的事，就是把这部分重复编码抽成公共底座。

📄 SepLRM: A Foundation Model Paradigm for Recommendation

🔧 把多个端到端 LRM 重组成“一个 RFM 加多个独立优化的垂类模型 VM”，通用序列建模和场景特化分开演进，RFM 升一次级，多个阶段、多个业务同时受益。

🧩 分离接口选在 KV cache：RFM 用 encoder 导出与候选无关的最后一层 KV，比 logits 或聚合用户向量保留了更细的行为信息；每个 VM 用自己的候选构造 query 走 cross-attention，和原 E2E 模型的 query-KV 交互形式一致，架构错配小。

⚙️ 为能落地还配了 cache 压缩、用户级 KV 复用、训练侧异步流水线让 cache IO 与计算重叠、serving 侧把 KV 准备和召回粗排并行，外加 LG-Store 做分布式 KV 存储。

📊 三个大规模数据集离线 SOTA，无损缓存下迁移率约 100%。

📈 线上 GIP 的 ADSS/ADVV 提升 1.961%/2.107%，电商 GMV 提升 0.35%–4.81%。

✅ ROI 分别是同口径 E2E LRM 的 8.62 倍和 2.62 倍，跨模型迭代、跨推荐阶段、跨业务都能迁。

总结感想：更适合已经有好几个 LRM 各自跑长序列、平台算力账单明显上涨的团队，单模型单场景的小团队拿不到多少好处。要盯的是迁移率 TR 和 cache 存储成本、命中率；坑主要在 KV 压缩率和效果之间的取舍，以及 LG-Store 这类存储基础设施得先有，不然线上关键路径省不下来。

原文：AlphaXiv