小红书精读：Understanding and Mitigating Training Instability in Large-Scale Recommender Systems: A Cascade Perspective

推荐模型训练崩了？谷歌拆出G-W-L级联

各位算法同学们，推荐模型训练崩掉，常常不是某个超参没调好，而是梯度、权重、损失按顺序连环爆。Google这篇把大规模短视频推荐里的训练不稳定拆成G-W-L级联，给出按阶段出手的排查框架。

📄 Understanding and Mitigating Training Instability in Large-Scale Recommender Systems: A Cascade Perspective

🔧 把发散拆成链式反应：数据漂移或激进扩模型先触发梯度爆炸，大梯度推高权重，权重膨胀让网络输出极端，最后loss爆炸甚至NaN，即G→W→L。

🧩 按阶段映射干预：G阶段控梯度，比如SmeLU、RMSNorm、全局梯度裁剪；W阶段稳权重，做dense层激活值裁剪；L阶段换Huber loss，降低大误差冲击。

⚙️ 强调不是孤立修bug：只处理一个环节也会牵动其他环节，组合策略比单点更稳。

📊 工业短视频推荐模型上，G+W+L组合相对基线：BC T1 AUC涨0.25%，BC T2涨0.38%，回归RMSE降0.03%。

📈 单用L干预，AUC涨0.21%和0.38%，但回归RMSE升0.16%，loss shaping有代价。

✅ G干预把梯度范数拉低63.7%，总loss降3.6%；baseline初始g_t和l_t偏高，本身就在不稳定区。

我的判断：更适合被周期性发散折磨的大规模连续训练团队，不是小模型万能药。落地盯梯度范数、权重范数、loss NaN；和Adam+梯度裁剪基线比，别只看AUC，还要看训练中断和回归RMSE。坑是论文对级联的细粒度时序验证有限，多为聚合快照，真用要在自己数据流上打点监控。

原文：AlphaXiv