小红书精读：ECHO: Efficient Cascade with Homogeneous Operators for Distillation-Guided 100K-Sequence Modeling

10万序列建模，算力砍约160倍

各位算法同学们：用户序列拉到10万条，target-aware 排序的算力反而能降约160倍——代价是GAUC只提升0.113%~1.520%，这个性价比值得算一算。快手这篇 ECHO 讲的是在“检索”和“压缩”之间如何找第三条路。

📄 ECHO: Efficient Cascade with Homogeneous Operators for Distillation-Guided 100K-Sequence Modeling

🔧 核心是把被压缩的对象换成“记录”，而不是“向量”：DS 在用户维度留下 K=10000 条原始行为记录，item id、时间戳、side feature 全都保留，下游还能逐条匹配，而不是对着拼好的兴趣向量猜。

🧩 DS 的监督信号来自候选感知的全历史 teacher，做 per-target 蒸馏，所以留下来的记录天然偏 target 相关；但线上不用为每个候选扫全量历史。

⚙️ TFR 只在这 1 万条里检索，每个候选最多取 M=100 条，并且 retriever 和 target attention 的 scorer 复用 teacher 的 relevance 参数，延续 TWIN 的 scoring consistency，保证“选的”和“用的”打分口径一致。

📊 L=100K 时，线上序列分支 FLOPs 比代表性端到端模型低约160倍。

📈 KuaiRand-1K 加某工业短视频平台上，多任务相对 GAUC 提升 0.113%~1.520%。

✅ 线上 A/B：app 使用时长 +0.613%。

📉 三条部署优化（公共用户输入、紧凑记录编码、key 侧投影吸收）压的是内存、存储和数据搬运，不是 FLOPs，做落地时不要只盯着算力那一栏。

总结感想：适合已经在跑 SIM/TWIN 这类检索式长序列、并且卡在 GSU 成本随长度线性增长的同学，特别是长尾 target 容易被压缩表示覆盖掉的场景。要盯的不只是 GAUC 和时长，还有 K/M 的命中率、蒸馏 student 与 teacher 的相关性一致性，以及 1 万条记录的存储和读放大开销。坑在于 DS 依赖全历史 teacher，teacher 的容量和训练成本是前置支出。

原文：AlphaXiv