小红书精读：Beyond IPS: Reliable Counterfactual Evaluation in Multi-Stage Ad Systems without Logged Propensities

没有倾向值，广告离线评估还能信吗

各位算法同学们，多阶段广告系统做离线评估，最尴尬的不是模型不够强，而是你根本没有倾向值：缓存、人群定向、业务规则一介入，曝光分布就不等于排序模型的输出分布，IPS 和它的自归一化变体直接失去前提。这篇来自 Meta 的工作把“没有 propensity 时该怎么信 DM replay”讲成了一套工程判断，既给出误差上界，也给出“什么时候信离线、什么时候老实排队走 A/B”的规则。

📄 Beyond IPS: Reliable Counterfactual Evaluation in Multi-Stage Ad Systems without Logged Propensities

🔧 不加权就会偏：只训练一个共享 reward model，用多分类域分类器估计密度比，把监督损失按“候选策略的混合分布”重新加权，全程不碰 propensity，代价只是多一次多分类加一次加权训练。

🧩 误差可以拆开看：作者推导出 DM replay 价值估计的高概率误差上界，把它分成 overlap 项、cold-start 项和有限 replay 样本项，将“有支撑处的模型误差”和“没支撑处的误差”之间的有限样本权衡明确写了出来。

⚙️ 给出一条决策规则：用 cold-start mass 导出渐近判据，判断某个候选是能靠离线排序定下来，还是必须送去线上 A/B 验证，正好对应 A/B 名额稀缺的现实。

📊 在可配置的广告投放模拟器和某大规模 CTR 排序系统的生产流量上，共对比 6 个估计器；混合加权版本在两种设定下都优于未加权的 DM，模拟器里 overlap 越低，增益越明显。

✅ 再叠加 doubly robust 修正后，Top-1 选对率在生产流量上最高，在模拟器的低、中 overlap 区间也最高。

📈 论文没有把增益压成单一百分比，更该记住的是趋势：收益集中在 overlap 低的位置，也就是最需要离线评估筛选候选的地方。

总结感想：如果你在多阶段广告或推荐里做模型筛选、A/B 名额又紧张，这套“加权 DM 加 cold-start 判据”可以照着实现一版。需要注意的问题在于，密度比估计在 overlap 极低时本身会不稳，β 默认均匀也意味着候选集合得先固定；落地时先盯 Top-1 选对率和选错带来的 regret，再和 IPS、DR 基线在同等 overlap 条件下比，别只比较拟合误差的绝对值。

原文：AlphaXiv