小红书精读:T-RoPE: Time-Aware Rotary Position Embedding for Sequential Recommendation

less than 1 minute read

把位置索引换成时间戳,推荐涨78% ⏱️

各位算法同学们,把推荐模型里 0、1、2… 的位置索引换成真实秒级时间戳,稀疏数据上 HR@10 直接涨了 78% 以上。而且论文证明了标准 RoPE 就算喂时间戳,依然保持时间平移不变——同一条历史在不同季节被看到,注意力图案完全一样。

📄 T-RoPE: Time-Aware Rotary Position Embedding for Sequential Recommendation

🔧 用 Unix 秒直接做旋转角,相邻事件隔几秒还是隔几周不再是同一个“一步”,时间差直接作用到 QK 点积上。 🧩 每个旋转平面配一个基频,从 10² 到 10⁸ 秒几何铺开,配上可学习的 query/key 时间系数,让模型自己决定周、月、季哪个周期更重要。 ⚙️ query 对齐到下一个事件时间戳(推理时用当前时间),key 侧做非平稳旋转,专门打破相对时间对称性,把日历相位编进去。

📊 五个公开 benchmark,每个数据集每个指标都是最好;PixelRec 稀疏数据 HR@10 比最强基线高 78–130%。 📈 Amazon Books 各指标涨 8–12%。 ✅ 6B+ 交互的工业电商数据,比 HSTU + Time RAB 主干全面高 13–82%;消融显示多尺度频率贡献最大,NDCG@50 涨 56%,非平稳 key 再贡献 4%。 📈 Shop App 线上 A/B:转化率 +0.33%,订单量 +0.63%。 额外算法开销对序列长度和 head 维度都是线性的。

如果你已经在序列推荐里用 RoPE、埋点又有真实时间戳,这个改动接口兼容,可以先试;但要是只有事件序号没有时间,或者业务周期短到一次会话内,多尺度频率库很可能学不出东西,先确认 β 的取值范围覆盖了你的周期。另外线上提升是千分之几量级,别指望单点改动带飞,重点看它和 HSTU 的时间 RAB 叠加后还能不能保住那 13–82%。

图 1

原文:AlphaXiv

Updated: