小红书精读:X-split Argus: Learning Reusable History Tokens for Efficient CTR Prediction

less than 1 minute read

历史压成K个token,CTR线上还涨了

各位算法同学们,线上CTR最贵的往往不是模型参数,而是每个候选都要把用户长历史重算一遍。这篇给出的答案是:历史离线压成K个token、全候选共享复用,线上只处理最近M条事件,A/B还能涨。

📄 X-split Argus: Learning Reusable History Tokens for Efficient CTR Prediction

🔧 两段式结构:history compressor 用因果自注意力把历史编码成逐事件状态,取前缀最后K个state当压缩token,离线算好、跨候选复用;线上ranker只对这批token和最近M条事件做cross-attention,候选相关信息在注意力里再注入。

🧩 压缩器和ranker是端到端一起训的,loss由两部分组成:历史点击反馈的自回归预测,加上一个用未压缩全历史的更大teacher给出的candidate级click logits蒸馏;蒸馏的梯度经过ranker回传到压缩器,等于直接教会它哪些信息值得留下。

⚙️ K和M是显式的算力调节参数,直接对应serving预算,调它们不用动整体结构,这点比很多“改一处就要重训”的方案实用。

📊 离线NE相对降0.81%(对比生产基线Context-aware ARGUS),并且保留了teacher相对基线增益的70%以上。

📈 部署在约十万QPS的实时竞价系统里,线上推理成本只多15%,用的是同型号GPU,延迟预算没破。

✅ 线上A/B:ACV(广告主转化金额口径)相对+4.65%,点击相对+2.96%。

总结感想:压缩历史这个方向并不新,VISTA、TM20K、HELIX都在做,这篇真正有信息量的是“15%算力换4.65% ACV”这笔账的实测。想跟进的话盯两个指标:蒸馏后保留teacher增益的比例,以及K和M调小后NE的衰减曲线,掉太快说明压缩token没学到候选相关信号。坑在teacher要用未压缩全历史,离线链路得跑得动这个大模型,否则这套监督根本不成立,小团队先算清这块成本再谈上线。

原文:AlphaXiv

Updated: