小红书精读：How Much Fresh Data Should CTR Recalibration Use? A Temporal Evaluation of Post-hoc Calibration

别默认用最新6小时做CTR重校准⏱

各位算法同学们，随机切分报出来的ECE，可能只有时间切分的一半——Avazu上逻辑回归三个种子都稳稳落在55%~62%，这不是运气，是协议在替模型说好话。这篇不发明新校准器，只干一件事：把“后校准到底该用多少新鲜数据”用时间维度量清楚。

📄 How Much Fresh Data Should CTR Recalibration Use? A Temporal Evaluation of Post-hoc Calibration

🔧 三个模型（LR、DeepFM、DCN-v2）× 两个滚动训练起点 × 随机切分臂，每格跑三个种子，把随机切分带来的校准虚高量成具体倍数，而不是笼统说一句“有时间泄漏”。

🧩 把重校准拆成三条轴同时量：拟合窗口跨度（1、6、12、24小时）、切片里到底放多少曝光、以及“这次修正会不会反而把概率改坏”的风险计数，一条流水线跑完。

⚙️ 关键的尺寸对齐对照：把12小时切片下采样到1小时切片的体量（5%曝光，拟合快20~25倍），仍然拿回完整切片88%的收益——有用的是覆盖的时间跨度，不是样本条数。

📊 6小时切片在错得最厉害的格子里最多削掉61%的ECE，但约三分之一的应用反而变差（48个里14~17个，跨种子）。

📈 换成12小时切片，固定评估集上的受损次数从36个里的13~17个降到3~5个；再拉到24小时又反弹回去。

✅ 12小时切片下采样到1小时体量仍回收88%增益，一轮拟合约1~2秒，算力不是瓶颈。

❌ 拿切片自身的ECE做门控，跨origin没看到收益；模拟竞价里重校准对利润的影响只有-0.21%~+0.26%。

我的判断：这不是方法论文，是评测协议论文，做校准评估的同学先把随机切分换成多origin、多种子的时间切分，否则你在优化一个测不准的指标。要上线后校准，别默认只喂最近几小时，12小时量级更稳，并且必须把“变差比例”当主指标看，只看平均ECE会掩盖伤害。坑也明确：结论来自Avazu单份日志，换数据得自己复现，尤其看切片跨度这个变量。

原文：AlphaXiv