小红书精读：Inherit4Rec: Parameter Inheritance for Efficient Scaling of Recommendation Models

0.31B扩到1B，省下72%训练时间

各位算法同学们，推荐模型从0.31B扩到1B，最贵的其实不是卡，是重新收敛要等近50天。快手联合深技大、港城大这篇 Inherit4Rec，做的是把LLM里的“参数继承”真正搬到流式推荐的动态数据上，解决继承完一恢复训练就掉点的老毛病。

📄 Inherit4Rec: Parameter Inheritance for Efficient Scaling of Recommendation Models

🔧 D2D 扩容：扩FFN时复制输入投影，新输出投影初始化成“贡献相加为零”，扩容那一刻前向输出和原模型完全一致；老参数带着优化器状态和LR schedule一起走，新参数给全新状态和单独schedule，绕开梯度对称和新参数学不动两个坑。

🧩 D2S 转换：不按权重聚类，而是拿真实训练样本的通道输出贡献挑出常驻的shared expert，再把对同一批输入共同激活的通道分成等大的routed expert，shared+top-1激活，配标准load-balancing loss。

⚙️ 真正的差异点：增长和分区都吃当前数据分布的统计量，不是只看预训练权重，所以面对漂移的P(X)和P(Y

X)不会一上线就崩。

📊 工业短视频数据集上，0.31B扩到1B，GAUC相对继续训原模型有显著提升。

📈 D2S 相比从零训的Dense和SMoE，GAUC只有很小的下降，没有出现断崖。

✅ 复用已有checkpoint，比从零训目标模型省72%的GPU训练时间。

📉 图2里直接套LLaMA-MoE、GMoEfication、bert2BERT那套，恢复训练后GAUC掉幅一路压到接近-0.9%的下限，Inherit4Rec基本贴着原Dense走。

我的判断：如果你们团队正按“小模型→大模型→更大”的节奏反复重训，这篇的收益最直接，落地时重点盯扩容后前两周的GAUC恢复曲线，以及各expert的负载是否偏斜。坑有两个：D2S的分区依赖训练样本统计，大促或新品类导致分布快速切换时得分区重算；shared expert挑多少通道、routed expert切几份，是要重新调的旋钮，不是拿来即用。

原文：AlphaXiv