小红书精读：GateDiffInt: Gate-Mediated Controllable Diffusion and Multi-Intent LLM Distillation for User Behavior Modeling

噪声和意图纠缠？双门控扩散破解

各位算法同学们，行为序列里的噪声和真实意图不是各过各的，而是互相纠缠——噪声稀释意图，缺少意图先验又让去噪没方向。这篇来自复旦+小红书的 GateDiffInt 直接用转化信号当共享监督，把去噪和意图提取放进同一个目标里，线上已部署在首页主流量。

📄 GateDiffInt: Gate-Mediated Controllable Diffusion and Multi-Intent LLM Distillation for User Behavior Modeling

🔧 技术创新点 🔧 提出 Noise-Intent Coupling (NIC) 现象，拆成 NID（噪声导致意图漂移）和 IDF（无意图先验的去噪失效），并用诊断实验证实两者存在。 🧩 Gate-Mediated Controllable Diffusion (GMCD)：按行为可靠性做掩码和加噪，用 DDIM 确定性采样去噪，再用双门控融合去噪表示和原始表示，同时输出可解释的位置重要性信号。 ⚙️ Multi-Intent LLM Distillation (MILD)：用冻结 LLM 做教师，蒸馏出长期、短期、潜在、转化四类意图向量，用 per-intent LoRA 路由防止四头坍缩，满足线上延迟约束。 ⚙️ 两阶段训练：先分别预训练 GMCD 和 MILD，再冻结骨干、注入 LoRA 联合微调到 CVR 目标，让去噪和意图提取互相校准。

📊 实验效果 ✅ 公开集 Taobao 上 AUC 0.8515，比最强基线 DMIN（0.8397）提升明显；Amazon-Electronics 上 AUC 0.8016，比 HSTU（0.7829）高近 2 个点。 ✅ 工业数据集上相对 HSTU：AUC +3.00%，GAUC +1.82%，LogLoss 改善 2.81%。 ✅ 线上 A/B 14 天，GMV 显著提升 +1.13%，已全量到主feed，累计 GMV 增益 +5.13%。 ✅ 诊断实验：NID 下意图漂移比无去噪版本低约 6.5 倍；对弱信号的保真度从普通扩散的 0.44 提升到 0.98。

总结感想：这条路子对工业排序挺有参考价值，核心是用任务监督把去噪和意图捏在一起，而不是各搞各的。落地要注意工程成本：LLM 蒸馏和双阶段训练都不便宜，线上节奏是周级预训练+日级 LoRA 微调，想复现得先把数据管道和资源预算算清楚。还有位置重要性信号的质量很关键，别只盯 AUC。

原文：AlphaXiv