小红书精读：DuTri: Dual-Branch Modeling with Triadic Factorization for Multimodal Multi-Scenario Recommendation

多模态塞进多场景模型，反而更差？

各位算法同学们，把多模态特征直接放进 STAR、HMoE、HierRec 这类多场景骨干，效果可能还不如“每个场景各配一个 MLP”的简单结构。这篇论文先做了控制实验来验证这个判断，再给出解决方案，有意思的地方在于它质疑了“直接复用共享架构”这个默认做法。

📄 DuTri: Dual-Branch Modeling with Triadic Factorization for Multimodal Multi-Scenario Recommendation

🔧 协作分支对 user–scenario–item 三元交互做 CP 分解：用户因子和物品因子跨场景共享，场景因子去调制两者的交互，再叠加残差量化把连续偏好变成结构化表示，跨场景共性和场景差异由一个结构同时承接。

🧩 双分支拆开：协作分支只负责 ID 侧偏好，多模态分支则用学到的用户偏好和场景偏好去指导 ID、文本、图像的自适应融合，让各模态的贡献随用户和场景变化，而不是全局一套权重。

⚙️ item 级对比学习把协作物品表示和多模态表示拉齐，两个分支之间有信息往来，而不是各算各的、最后拼接。

📊 AntM²C 上 5 个场景 S1–S5、5 个随机种子取平均：ID-only 输入时三个 MSR 骨干都优于 Scenario MLP，换成多模态输入后结论反转，Scenario MLP 在每个场景的平均 AUC 都更高。

📈 Amazon 上趋势一致，作者把结果放在附录 A.1。

✅ DuTri 在 AntM²C 和 Amazon 两个真实数据集上整体 AUC 超过现有多模态和多场景 baseline，消融实验确认 CP 分解、残差量化、跨分支对齐三项各自有贡献。

🧠 如果你在做多场景 + 多模态的精排或召回，先跑一个“每场景单独 MLP”的对照，别默认骨干的共享机制还成立；评估时盯分场景 AUC，而不只是平均值。要注意的坑：CP 分解加残差量化多了一套超参（秩、码本大小），摘要只给了结论，具体涨幅得翻正文表格逐个 baseline 对一遍。

原文：AlphaXiv