小红书精读:DNA: Unlocking Depth Scaling in CTR Models

less than 1 minute read

CTR模型加层不涨?瓶颈在KV侧

各位算法同学们,淘宝搜索上把cross-attention从16层堆到28层,AUC只多0.02个点,深度等于白加。阿里这篇DNA就盯着一个问题:卡住的到底是不是query那一侧。

📄 DNA: Unlocking Depth Scaling in CTR Models

🔧 先给结论:瓶颈在key-value侧。每层都从同一条行为序列投影K/V,加深只是把一条不变的序列多读几遍,query修得再细也没新信息进来。

🧩 所以让序列自己随深度演化。每层先让request表示(搜索词、用户特征、场景)去读序列;接着每个行为token反过来对更新后的request做attention,用读到的内容更新自己。下一层读到的,是被当前请求塑造过的序列。

⚙️ 更新只依赖request、跟候选无关,一次请求算一遍,上千个候选共享同一份序列状态;读和更新对序列长度都是线性;多个行为域各自保留顺序和投影,不用先合并到一条时间线。

📊 等前向FLOPs下,DNA比cross-attention栈高0.08到0.26 pt AUC,六个算力档位都领先。

📈 同样的算力增量,baseline从16层到28层只涨0.02 pt,DNA从6层到10层涨0.13 pt;DNA-4用约40%的FLOPs就超过了28层版本。

✅ 淘宝搜索线上A/B,DNA-4对生产模型CTR +0.8%、GMV +0.5%。

这条路的适用面挺明确:做长序列排序、又被加层不涨卡住的团队,可以先用4层DNA跑个同算力对照,看ΔAUC有没有继续往上走。要留意的点也有——序列更新完全不含候选信息,候选间差异特别大、或者候选自带强上下文的场景得自己再验一遍;对齐指标记得按等FLOPs算,别只比层数。

原文:AlphaXiv

Updated: