小红书精读:Numerical Embeddings for CTR Prediction: A Taxonomy, Unified Benchmark, and Open-Source FuxiCTR Extension

less than 1 minute read

CTR数值编码18种,谁真能打?🔍

各位算法同学们,CTR 里数值特征怎么嵌入,几乎每篇方法论文都说自己涨点,但把 18 种编码器塞进同一个接口、跑满 2430 次对比,这事之前真没人系统做过,这篇把它补上了。

📄 Numerical Embeddings for CTR Prediction: A Taxonomy, Unified Benchmark, and Open-Source FuxiCTR Extension

🔧 分类维度换了:不看模型名,看“数值坐标怎么构造”,18 个配置归成六族——点投影、离散化、固定基、分段基、自适应坐标、分布或上下文自适应,比的是喂进 backbone 的数值表示本身 🧩 统一到 FuxiCTR 一个接口,所有编码器输出 16 维,共用 train-only z-score、同一套分阶段调参预算、同一批 seed,主榜 2430 次跑完再跑一遍只改输入尺度的原生尺度榜 ⚙️ 统计量只在训练集拟合,配置冻结后才上测试,测试指标不参与选型,per-seed 结果和冻结配置全部开源,可以直接复现别人后续的编码器

📊 主榜 DEER 平均排名最好,3.41,27 个 dataset–backbone 格子里拿 14 个第一、19 个进前三;PLE-B 平均 5.30;Friedman 检验 χ²=157.04,p≈1e-24,说明方法间确实不是随机波动 📈 但它不是通杀:DEER 在 Criteo 的 9 个 backbone 赢 8 个,在 AutoML-E 的 9 个里只赢 1 个,六个方法各至少在某个格子里排第一,连最朴素的 Field 都赢过三个格子 ✅ 把输入换成原生尺度、不重新调参,27 个格子里 11 个冠军换人,排行榜对预处理相当敏感 ⚙️ 家族标签几乎不预示性能:同为分段基,PLE-B 平均 5.30,PLE-ReLU 掉到 12.48;自适应坐标里 NaryDis-Lite 13.44,DEER 3.41;配对延迟测量也显示精度和推理成本不必同向

选型时这篇能当基线清单用:先拿 DEER、PLE-B、Quantile 各跑一遍,但一定在自己的 backbone 和真实输入尺度上复测,别把 z-score 榜的结论直接搬到线上;看均值排名的同时盯 per-seed 方差和配对延迟,否则容易选出一个只在某个格子里强的编码器。坑也明确:只有三个数据集、维度固定 16、调参是限定预算的离散筛选,它给的是“哪个配置在什么组合下强”,不是“哪个家族更好”。

原文:AlphaXiv

Updated: