小红书精读:Evidence Before Expansion: Reuse, Spawn, or Defer in Lifelong Expert Pools

less than 1 minute read

🧠 别急着扩专家,先攒证据

各位算法同学们,面对新数据流,不一定要立刻扩专家,等一等反而更稳——这篇把’defer’做成了统计定义的动作,而不是模糊的启发式。

📄 Evidence Before Expansion: Reuse, Spawn, or Defer in Lifelong Expert Pools

🔧 决策层把reuse和spawn建模成单边序贯假设,中间留出[τ,3τ]的无差异区间,证据不足以做决定时就是defer,每个动作都有明确的统计含义。 🧩 用restarted e-detector做序贯证据:一组几何间隔重启的赌超鞅银行,内存只要O(log t),既能保持任意时刻有效性,又能快速响应概念漂移,不会像单条无窗口过程那样在切换后误复用(误用率0.5→0.0)。 ⚙️ 误差预算按重启实例分配而不是按槽位,所以即便专家无限创建,也能控制家族级错误率,终身有效。

📊 在合成多概念流上,默认流式配置(restarted e-detector + spending)实现false spawns 0.00、false reuses 0.00,专家数也接近理想值。 📈 在INSECTS这种重复概念多的基准上,利用复用只维护13个专家,而基于交换的决策需要18-52个。 ✅ Covertype上正确维护1-2个专家,且在INSECTS-reoccurring上准确率达到0.675,与退役的窗口启发式相当,但部署的就是有终身保证的算法。

我的判断:这套”证据先于扩张”的思路对离散且重复出现的概念流很有效,但如果流是连续漂移,专家池本身可能不划算。落地时最要盯的是τ,它必须小于你真正想响应的最小漂移质量,否则会把新概念错归给旧专家。对要处理长时非平稳流的工程同学,这个框架值得做一次离线模拟再决定是否上线。

图 1

原文:AlphaXiv

Updated: