小红书精读：LFM4Ads: Large Foundation Model for Ads Recommendation

广告大模型不实时推理，GMV涨2.45%

各位算法同学们，这篇工业论文给出的反常识结论是：想用大模型的 user-item 交叉表征，不必让上游模型跟着下游一起实时推理。腾讯和清华的 LFM4Ads 把交叉表征提前聚合成用户级向量存起来，线上完全不跑上游，依然拿到全平台 2.45% 的 GMV 提升。

📄 LFM4Ads: Large Foundation Model for Ads Recommendation

🔧 上游同时抽取 UR、IR 和 CR，关键在 CR：直接取 DCNv2 这类交互层的输出，比两塔吐出的用户、物品向量细一个粒度，这也是以往工作基本丢掉的部分。

⏱ 用时间感知的指数滑动平均把样本级 CR 压成用户级 CR，β(t) 随距上次更新的时间衰减：沉默用户 β≈0 偏向当前行为，活跃用户 β≈1 多留历史。这一步才真正把上游推理和线上 serving 解耦，比要实时算 TAE 的方案少一路工程负担。

🧩 下游给三级用法：特征级用非线性 gate 把 CR 融进 embedding，模块级微调上游产出 CR 的模块，模型级拿 CR 和 IR 做匹配检索。粒度越粗，下游模型越薄、训练越轻。

📊 KuaiRand-1K 八个场景离线：特征级 gating 平均 AUC +0.0025，模块级微调 +0.0016，模型级检索 +0.0189。

📈 2024 Q4 起在腾讯广告平台上线，支撑 10+ 次发布，全平台 GMV +2.45%，年收入增加数亿元。

✅ 分场景看：微信朋友圈特征级融合 GMV +1.35%，多个 pCVR 模型模块级微调 +1.88%，微信视频号模型级检索 +1.17%。

⚙️ 层选错会掉点：特征级用中间层的 CR 最好，模型级用最深层的 CR 最好，作者是实打实扫过的。

总结：适合已经有上游大模型、但线上 latency 卡死、不想再挂一路推理的团队。要盯的是 β 函数形状和取哪一层这两个超参；另外 AUC +0.002 量级不一定等价成线上收益，模型级那个 +0.0189 更接近检索侧换了匹配目标，跟直出 CTR 模型横向比意义有限。

原文：AlphaXiv