小红书精读:TokenFormer V2: Breaking the Resolution-Complexity Dilemma in Unified Recommendation

less than 1 minute read

长历史全保留,算力还省5.1倍 🔧

各位算法同学们,长行为序列这件事,直觉上“一个token都不压缩”应该最贵,这篇工作偏偏反着来:每个行为都留着独立token,前向FLOPs却只有MixFormer的19.5%。它要解决的就是推荐里的resolution–complexity dilemma——建模细,算力爆;摘要压缩,证据丢。

📄 TokenFormer V2: Breaking the Resolution-Complexity Dilemma in Unified Recommendation

🔧 分组token布局:把行为序列切成连续段,每段挂一组非序列字段token和可学习的组中继token,段内做Local Group Attention,让每条行为都能看到邻居和字段上下文。

🧩 层级组合并:层数加深时相邻组合并,四条的组并成八条的组,交互范围扩大但不做pooling、不丢token,分辨率全程不掉。

⚙️ 两条轻量通信路径 + Full-Resolution Readout:NS Fusion把不同组更新过的字段表示混一遍再发回去,Global Sync只在中继token和少量readout token之间交换全局信息;最后用readout token对全部编码token做candidate-aware cross-attention,预测阶段仍然能直接读到每一条行为。

📊 TAAC 2026 上八个统一推荐backbone横向比,AUC最高、log loss最低,前向FLOPs只要MixFormer的19.5%,也就是省5.1倍。

📈 微信视频号十亿参数:输入特征完全相同时,整体AUC比MixFormer高0.0572pp,简化输入版本到0.0712pp,摘要口径最高+0.07pp;历史长度翻倍和行为域不均衡的分群里优势还在。

✅ 线上A/B对比现网生产模型,GMV提升2.33%,统计显著。

总结感想:适合长行为序列、serving预算又被卡死的工业排序团队看。真要跟,重点盯FLOPs随序列长度增长的那条斜率,以及长历史上AUC有没有掉,这两个指标才是它宣称的地方。坑在于组大小、合并时机、中继token数量都是新增超参,调起来不轻松,而且效果依赖字段侧token化的工程量;对比基线记得选MixFormer和OneTrans,别只跟DIN比。

原文:AlphaXiv

Updated: