小红书精读:Towards a Unified Framework of Optimal Input-Side Dimensional Configuration for Deep CTR Prediction
CTR输入侧选择,三层各选各的会打架
各位算法同学们,把样本、特征、embedding 三层选择器一股脑塞进同一个 backbone,AUC 只涨了 0.002 出头——这篇论文的出发点是:涨得少未必是联合选择没用,更可能是三层在互相拆台。
📄 Towards a Unified Framework of Optimal Input-Side Dimensional Configuration for Deep CTR Prediction
🔧 先把三件事看成一件:样本权重是标量、特征 gate 定义在 field 上、embedding mask 定义在坐标上,名字和粒度都不一样,但本质都是给输入乘一个 [0,1] 的权重,也就是沿 embedding 张量不同轴的 mask。因此论文把它们当成同一个“有效输入”的耦合决策,不做成三个独立的选择任务。
🧩 关键机制是 selection-weighted Optimal Transport:粗粒度选择权重决定总传输质量,细粒度权重在语义支撑上分配这份质量,表示差异定义传输代价。样本-特征、特征-embedding、样本-embedding 三组关系各建一个 OT 目标,相邻和非相邻层都有直接的协调信号,而不是只靠预测 loss 反向传。
⚙️ 落地形态是两阶段:配置学习阶段把三层权重和预测目标一起优化,学完后用筛过的输入重训 backbone,交互结构不动,所以对模型不设限。
📊 四个公开数据集、五个 CTR backbone 上都做了,AUC 一致高于对应的单层选择方案。
📈 Avazu + DNN 上的 motivating 实验:单独做样本、特征、embedding-unit 选择各涨约 0.001,三层一起学(不加协调)超过 0.002。
✅ 跨层选择一致性 SCR 提升约 0.30 的那些 case,AUC 提升接近 0.008——作者自己也说明这是相关性不是因果,但足够支撑“显式协调”这个设计。
总结:如果你在做特征筛选或 embedding pruning,且已经有单层方案的 baseline,这篇的 OT 协调项可以直接当插件试;判断它有没有用,盯 AUC 之外还要看 SCR 和训练成本。需要注意:两阶段重训加三组 OT 求解,在稀疏特征多、样本量大的场景开销不小,且样本权重偏低时会削弱细粒度选择器的梯度反馈,这个耦合问题论文是靠协调目标缓解的,不是消除。
原文:AlphaXiv