小红书精读：Slim Foundation Models for Latency-Critical Recommendation Serving

LLM砍掉44%，CTR延迟降3.4倍

各位算法同学们，在线跑LLM做CTR，代价是普通CTR模型的290倍，所以现有工作基本都退回去离线缓存，不敢在线serving。这篇偏要在请求链路里跑，把LLaMA3-8B剪到4.5B，延迟比LLM增强baseline低3倍多。

📄 Slim Foundation Models for Latency-Critical Recommendation Serving

🔧 依赖感知结构化剪枝：用DepGraph把注意力和FFN里结构耦合的参数打成组，用next-token loss的Taylor展开估组重要性，整组剪到4.5B（小44%），尽量不伤下游语义抽取能力。 🧩 字段感知LoRA微调：主干冻结只训LoRA，任务是判断这个特征值属于哪个field（比如Black Rose归到Movie Title），用InfoNCE对比学习逼出可区分的字段级embedding。 ⚙️ 语义引导融合：把LLM字段embedding的pairwise余弦相似度过一层可学习变换，去重加权CTR模型的pairwise特征交互，训练时再加KL散度对齐两套相似度分布。

📊 4个数据集和6个CTR骨干（FM、DeepFM、FwFM、FmFM、FinalMLP、Wukong）全部跑了一遍。 📈 单样本延迟15.98–17.58ms，KAR是54.6–55.1ms，LLM-CF是46.5–47.5ms，最高3.4倍加速；参数量4504M对KAR的8032M。 ✅ 相对各骨干base的平均AUC：Gift Cards +1.69%、Video Games +1.36%、Digital Music +1.39%、MovieLens-1M +0.13%。 📉 剪枝曲线：6B保留99.88%平均AUC，4.5B保留99.77%，压到2B也还有99.62%。

总结：想在线吃LLM语义、又被P99延迟卡死的召回、精排链路，这套pipeline可以跟。但别只看均值，24个骨干和数据集组合里它只有10个拿到同组最高AUC，FmFM在Gift Cards还是-2.12%，上之前先在自己那一格复现；还有缓存派省的是离线算力，它省的是在线延迟，两笔账要分开算。

原文：AlphaXiv