小红书精读：UniCon: A Unified Context-Centric Modeling Paradigm for CTR Prediction

CTR统一建模新姿势：把上下文当基本单位

😯 各位算法同学们，有没有想过，我们一直把用户行为拆成“序列信号”和“非序列特征”，这个分类习惯可能正在限制CTR模型的上限？美团这篇UniCon提出，用户行为本质上是一连串同构的“上下文单元”，历史行为和当前候选，只差在“结果是否已知”。整篇用统一的上下文建模方式，把搜索、广告场景里的“列表效应”和“决策演变”装进同一个框架，对做工业级排序的朋友会很有启发。

📄 UniCon: A Unified Context-Centric Modeling Paradigm for CTR Prediction

🔧 以“上下文单元”为最小建模单位：把同一次曝光里一起展示的item连同当时场景信号打包成一个上下文单元。用户历史不再是散装token串，而是一串历史上下文；当前候选则初始化成一个“目标隐上下文单元”，训练时用曝光和位置目标去逼近真实展示列表的结构。 🧩 引入层级交互来刻画“局部性”和“动态性”：上下文内部做intra-context attention，捕捉item间的竞争、互补、位置偏差等局部耦合；上下文之间做inter-context attention，沿着时间轴建模用户决策状态的演化。 ⚙️ 面向工业部署的压缩设计：上下文单元成为天然计算边界，结合padding-free变长注意力，并用上下文级序列压缩只保留与目标最相关的历史上下文，降低训练和serving开销。

📊 离线AUC在美团搜索广告的强生产基线上提升0.0139。 📈 在线A/B结果：RPM提升3.09%，CTR提升2.07%，收入提升2.95%，均统计显著。 ✅ 配合padding-free变长注意力和编译部署，上下文级压缩把系统开销控制在工业可承载范围，让这套结构真正上了线。

💭 个人判断是这篇把“上下文”从辅助特征升级成架构的组织方式，对搜索列表、瀑布流这类展示上下文很强的场景尤其有价值。落地时最大的坑在于如何从日志中还原“真实展示过但没被点击”的item集合，上下文单元的构建质量直接影响效果；上下文压缩的阈值也需要按不同流量重新调。

原文：AlphaXiv