小红书精读：Teacher Retains Full Tokens, Student Merges Efficiently: TM20K for E-Commerce Sequence Modeling in Ad Recommendation

电商序列20K，延迟只涨5.6%

各位算法同学们，当你还在为序列长度和算力打架时，字节已经用20K序列上线了：ADSS涨了1.036%，服务延迟只多了5.6%。这篇工作把“教师保留全量token、学生合并token”的蒸馏玩法搬到了电商广告推荐，既吃到了超长序列的红利，又没让训练和serving崩掉。

📄 Teacher Retains Full Tokens, Student Merges Efficiently: TM20K for E-Commerce Sequence Modeling in Ad Recommendation

🔧 全注意力（FA）替代纯目标注意力（TA），实验显示20K序列下FA比TA的AUC高0.25%，说明序列内部依赖不能只靠target query去抽。 🧩 设计了三种token合并：LITM按商品ID在局部窗口内合并重复交互，PATM对最近10%的token少合并（它们占了约一半注意力），LPTM在Transformer层间逐层减半，把20K压到约2K。 ⚙️ 两阶段蒸馏：教师模型一次性训练完整20K token，学生模型用合并后的token学习，线上部署的是轻量学生，成本几乎不变。

📊 线上A/B：ADSS +1.036%，服务延迟仅+5.6%，训练和serving成本几乎与线上SOTA持平。 📈 离线对比：直接上20K FA会让训练时间变3.5倍、GPU内存+49GB、延迟6.3倍；用TM20K后，学生模型能达到完整20K建模约85%的性能。 ✅ 额外设计：Stack Sequence最多省10GB GPU内存，QK Norm解决了长序列+蒸馏的训练不稳定问题。

这套玩法比单纯换attention结构更实用，适合序列很长但不敢上全注意力的团队。坑在于LITM的窗口T和PATM的分段都要自己调，业务数据分布不同效果会抖；教师模型20K全量训练的资源消耗也不小，得算好账再上。后续落地重点盯AUC和延迟的性价比，别光看指标涨了多少。

原文：AlphaXiv