小红书精读：Unified Heterogeneous Feature Interaction via Effective-Rank Scaling for Recommender Systems

序列和特征分开建模，该换换了🔧

各位算法同学们，先抛个问题：你们的排序模型里，行为序列塔和特征交互塔是不是还在各算各的，最后 concat 一下就完事？阿里这篇 HiRank 想要拆掉这两个模块之间的隔阂：序列特征和非序列特征放进同一个 backbone 做双向融合，不再是“先编码再交互”的单向流水线，而且顺带把多场景和长期记忆也一起装进去了。

📄 Unified Heterogeneous Feature Interaction via Effective-Rank Scaling for Recommender Systems

🔧 统一骨干：门控序列注意力和异构特征交互共享同一个 backbone，堆叠后交互输出会反过来更新主序列状态和检索 query，形成反馈闭环，不再是编码器一次性吐出定长向量。

🧩 长期记忆检索的 query 由主序列生成：如果只用相对静态的 profile 特征来构造 query，这些 query 容易挤在少数表示方向上，effective rank 偏低。HiRank 先 attend 主序列再拿去检索长期记忆，另加一条候选物品视角的通路做互补证据。

⚙️ 场景感知聚合 + 复合投影：场景 query 把低阶 token 压成紧凑表示，再用多组不同投影拆成多个 composite token，让后续 self-attention 的奇异值谱更均衡、信息密度更均匀；标题里的 effective-rank scaling 就落在这里。

📊 淘宝生产数据上，性能随参数量增长持续变好，说明 scaling 趋势在这套结构上成立，并且稳定优于对比 baseline。

📈 线上 A/B：人均订单量 +2.27%，人均 GMV 也显著为正，模型已在淘宝推荐系统上线服务。

✅ 论文把统一骨干、主序列引导检索、场景感知聚合列为三点核心贡献；统一骨干、主序列引导的长期记忆检索、场景感知聚合分别贡献了多少，建议翻原文表格自己核对，别只看摘要。

总结感想：这篇适合正在做“序列+特征统一建模”、或者准备把排序模型往大做的人。除了 AUC，还要重点盯两件事：不同场景之间的负迁移有没有变严重，composite token 的实际奇异值分布是不是真的更均衡。坑主要在工程侧：长期记忆的存储和检索、多组投影带来的显存与延迟开销，上线前得先算清楚，再拿去和 OneTrans、RankMixer 这类统一 backbone 的方案对齐，比一比参数效率和线上收益。

原文：AlphaXiv