推荐算法日报 · 2026-10-28
总览
今天这四篇放一起看,主线其实挺清楚:两篇是真上了线上的工程活——淘宝首页 CVR 那套把行为序列、特征交叉、多场景塞进一个骨干的活,和 Pinterest 把 SID 生成式召回推到 Related Pins;另外两篇更像在追问工程默认值,一个问后校准到底该用多新鲜的数据,一个问样本、特征、embedding 维度这三层筛选怎么统一起来,别互相打架。最值得细读的是前两篇:淘宝那篇真正的看点是「特征交叉结果反哺下一层行为检索」这个闭环,加上 299M 参数、1.53 GFLOPs 还比基线省,AUC 那点提升别当回事,直接看 GAUC 和 PCOC;Pinterest 那篇最漂亮的是训练时给每个 SID 位置都上监督、推理时把 SID token 全删掉函数不变,等于拿 TIGER 的监督付 embedding GR 的服务成本,后面那套 cascade decode、trie 约束、host-local 索引也交代得很实在,不是只丢个想法。后两篇我建议当「方法论提醒」读而不是当结论读——校准那篇「随机切分会系统性低估 ECE」这个点挺值钱,但只有十天单数据集日志、模拟竞价收益基本在噪声里;深大那篇 OT 协调建模选得巧,可 Criteo 上增量薄到 0.0003,本质还是工程整合,别指望它替你线上筛样本。要挑通病的话,今天这几篇都是离线指标写得极细,线上证据一篇有、一篇没有、两篇纯离线,看到「显著提升」先问口径和场景。今天优先看淘宝那篇和 Pinterest 那篇,剩下两篇扫结论就够了。
论文列表
1. Unified Heterogeneous Feature Interaction via Effective-Rank Scaling for Recommender Systems
- 论文链接:AlphaXiv
- 更新时间:2026-10-26 12:17 UTC
- 机构:Alibaba Group,Renmin University of China,Institute of Automation, Chinese Academy of Sciences
- 工业优先级:强
- 备注:9 pages, 4 figures
序列和特征分开建模,该换换了🔧
各位算法同学们,先抛个问题:你们的排序模型里,行为序列塔和特征交互塔是不是还在各算各的,最后 concat 一下就完事?阿里这篇 HiRank 想要拆掉这两个模块之间的隔阂:序列特征和非序列特征放进同一个 backbone 做双向融合,不再是“先编码再交互”的单向流水线,而且顺带把多场景和长期记忆也一起装进去了。
📄 Unified Heterogeneous Feature Interaction via Effective-Rank Scaling for Recommender Systems
🔧 统一骨干:门控序列注意力和异构特征交互共享同一个 backbone,堆叠后交互输出会反过来更新主序列状态和检索 query,形成反馈闭环,不再是编码器一次性吐出定长向量。
🧩 长期记忆检索的 query 由主序列生成:如果只用相对静态的 profile 特征来构造 query,这些 query 容易挤在少数表示方向上,effective rank 偏低。HiRank 先 attend 主序列再拿去检索长期记忆,另加一条候选物品视角的通路做互补证据。
⚙️ 场景感知聚合 + 复合投影:场景 query 把低阶 token 压成紧凑表示,再用多组不同投影拆成多个 composite token,让后续 self-attention 的奇异值谱更均衡、信息密度更均匀;标题里的 effective-rank scaling 就落在这里。
📊 淘宝生产数据上,性能随参数量增长持续变好,说明 scaling 趋势在这套结构上成立,并且稳定优于对比 baseline。
📈 线上 A/B:人均订单量 +2.27%,人均 GMV 也显著为正,模型已在淘宝推荐系统上线服务。
✅ 论文把统一骨干、主序列引导检索、场景感知聚合列为三点核心贡献;统一骨干、主序列引导的长期记忆检索、场景感知聚合分别贡献了多少,建议翻原文表格自己核对,别只看摘要。
总结感想:这篇适合正在做“序列+特征统一建模”、或者准备把排序模型往大做的人。除了 AUC,还要重点盯两件事:不同场景之间的负迁移有没有变严重,composite token 的实际奇异值分布是不是真的更均衡。坑主要在工程侧:长期记忆的存储和检索、多组投影带来的显存与延迟开销,上线前得先算清楚,再拿去和 OneTrans、RankMixer 这类统一 backbone 的方案对齐,比一比参数效率和线上收益。
2. PinGER: Token-Efficient Generative Retrieval with Semantic IDs
- 论文链接:AlphaXiv
- 更新时间:2026-10-24 04:24 UTC
- 机构:Pinterest
- 工业优先级:强
- 备注:11 pages, 5 figures, 8 tables
生成式召回省6倍token,还更快 🔍
各位算法同学们,生成式召回有个被忽略的尴尬数字:100 条 beam 里,一级码只有 11.9 个不同的,剩下全挤在同一前缀上互相重叠。Pinterest 这篇 PinGER 就是在解决这类问题,还顺手把输入 token 砍了 6 倍。
📄 PinGER: Token-Efficient Generative Retrieval with Semantic IDs
🔧 不对称注意力掩码:训练时每个历史 item 由 L 个 SID token 加 1 个 dense token 组成,SID 能读 dense 历史和自身浅层码,但后续任何位置都不读过去的 SID。于是服务时直接丢掉 SID,一个 item 只喂一个 token,算的还是同一个函数——训练拿到 TIGER 那样的 L 个标签监督,服务只付 embedding 召回的输入成本。
🧩 前缀多样性惩罚:不是按步惩罚,而是按候选与已选 beam 共享前缀的深度收费,逐条选 beam,把 beam 按层级推开,这一步很关键。
⚙️ 服务栈三件事:cascade attention 让共享历史每请求只读一次,而不是每个 beam 读一次;约束解码保证每个 beam 都落在语料里真实存在的 SID 上;SID 到 item 用本地索引解析,不走网络调用。
📊 离线 Recall@100 与 TIGER 持平,但服务 token 少 6 倍。
📈 同等服务 token 下比 TIGER 高 9.5%,是线上 embedding 召回 PinRec 的 3.9 倍。
✅ 加上惩罚后,beam 覆盖的一级前缀数量是贪心解码的 7.9 倍。
✅ 服务侧 W=30 时比 paged attention 快 10.9 倍,W=400 时快 32 倍,KV 内存少 12.6 倍。
📈 线上 Related Pins 替换 PinRec:整体 save +0.62%,新 Pin 的 save +3.60%,端到端延迟降 0.7%,被替掉的 ANN 检索成本直接归零。
我的判断:做召回、尤其内容更新快、长尾重的场景,这篇的实验方式可以直接借鉴——它把“和 embedding 召回比”放进了线上 A/B,而不是只跟自己比。要盯的是新内容 save 这个指标,3.60% 和 0.62% 的差距说明收益主要来自冷启动和长尾,存量热门内容别指望。坑在训练侧:自定义稀疏注意力 kernel 加 SID 分词质量,复现成本不低,分词分得不好,掩码再巧也白搭。
3. How Much Fresh Data Should CTR Recalibration Use? A Temporal Evaluation of Post-hoc Calibration
- 论文链接:AlphaXiv
- 更新时间:2026-10-23 18:01 UTC
- 机构:未披露机构
- 工业优先级:中
- 备注:10 pages, 3 figures, 6 tables. Code and per-cell results: https://github.com/RuiLiu0129/ctr-recalibration-temporal
别默认用最新6小时做CTR重校准⏱
各位算法同学们,随机切分报出来的ECE,可能只有时间切分的一半——Avazu上逻辑回归三个种子都稳稳落在55%~62%,这不是运气,是协议在替模型说好话。这篇不发明新校准器,只干一件事:把“后校准到底该用多少新鲜数据”用时间维度量清楚。
📄 How Much Fresh Data Should CTR Recalibration Use? A Temporal Evaluation of Post-hoc Calibration
🔧 三个模型(LR、DeepFM、DCN-v2)× 两个滚动训练起点 × 随机切分臂,每格跑三个种子,把随机切分带来的校准虚高量成具体倍数,而不是笼统说一句“有时间泄漏”。
🧩 把重校准拆成三条轴同时量:拟合窗口跨度(1、6、12、24小时)、切片里到底放多少曝光、以及“这次修正会不会反而把概率改坏”的风险计数,一条流水线跑完。
⚙️ 关键的尺寸对齐对照:把12小时切片下采样到1小时切片的体量(5%曝光,拟合快20~25倍),仍然拿回完整切片88%的收益——有用的是覆盖的时间跨度,不是样本条数。
📊 6小时切片在错得最厉害的格子里最多削掉61%的ECE,但约三分之一的应用反而变差(48个里14~17个,跨种子)。
📈 换成12小时切片,固定评估集上的受损次数从36个里的13~17个降到3~5个;再拉到24小时又反弹回去。
✅ 12小时切片下采样到1小时体量仍回收88%增益,一轮拟合约1~2秒,算力不是瓶颈。
❌ 拿切片自身的ECE做门控,跨origin没看到收益;模拟竞价里重校准对利润的影响只有-0.21%~+0.26%。
我的判断:这不是方法论文,是评测协议论文,做校准评估的同学先把随机切分换成多origin、多种子的时间切分,否则你在优化一个测不准的指标。要上线后校准,别默认只喂最近几小时,12小时量级更稳,并且必须把“变差比例”当主指标看,只看平均ECE会掩盖伤害。坑也明确:结论来自Avazu单份日志,换数据得自己复现,尤其看切片跨度这个变量。
4. Towards a Unified Framework of Optimal Input-Side Dimensional Configuration for Deep CTR Prediction
- 论文链接:AlphaXiv
- 更新时间:2026-10-26 16:24 UTC
- 机构:College of Computer Science and Software Engineering, Shenzhen University,McGill University,Shenzhen Technology University
- 工业优先级:中
- 备注:13 pages, 8 figures
CTR输入侧选择,三层各选各的会打架
各位算法同学们,把样本、特征、embedding 三层选择器一股脑塞进同一个 backbone,AUC 只涨了 0.002 出头——这篇论文的出发点是:涨得少未必是联合选择没用,更可能是三层在互相拆台。
📄 Towards a Unified Framework of Optimal Input-Side Dimensional Configuration for Deep CTR Prediction
🔧 先把三件事看成一件:样本权重是标量、特征 gate 定义在 field 上、embedding mask 定义在坐标上,名字和粒度都不一样,但本质都是给输入乘一个 [0,1] 的权重,也就是沿 embedding 张量不同轴的 mask。因此论文把它们当成同一个“有效输入”的耦合决策,不做成三个独立的选择任务。
🧩 关键机制是 selection-weighted Optimal Transport:粗粒度选择权重决定总传输质量,细粒度权重在语义支撑上分配这份质量,表示差异定义传输代价。样本-特征、特征-embedding、样本-embedding 三组关系各建一个 OT 目标,相邻和非相邻层都有直接的协调信号,而不是只靠预测 loss 反向传。
⚙️ 落地形态是两阶段:配置学习阶段把三层权重和预测目标一起优化,学完后用筛过的输入重训 backbone,交互结构不动,所以对模型不设限。
📊 四个公开数据集、五个 CTR backbone 上都做了,AUC 一致高于对应的单层选择方案。
📈 Avazu + DNN 上的 motivating 实验:单独做样本、特征、embedding-unit 选择各涨约 0.001,三层一起学(不加协调)超过 0.002。
✅ 跨层选择一致性 SCR 提升约 0.30 的那些 case,AUC 提升接近 0.008——作者自己也说明这是相关性不是因果,但足够支撑“显式协调”这个设计。
总结:如果你在做特征筛选或 embedding pruning,且已经有单层方案的 baseline,这篇的 OT 协调项可以直接当插件试;判断它有没有用,盯 AUC 之外还要看 SCR 和训练成本。需要注意:两阶段重训加三组 OT 求解,在稀疏特征多、样本量大的场景开销不小,且样本权重偏低时会削弱细粒度选择器的梯度反馈,这个耦合问题论文是靠协调目标缓解的,不是消除。