小红书精读：KuaiRecV2: Benchmarking Large-Scale Continual Learning for Diversified and Multi-task Recommendation

离线涨点线上掉点？这个榜单挺敢

各位算法同学们，离线指标涨了线上却掉点，八成不是模型不行，而是评测协议在骗你。KuaiRecV2把“边训边评”写进了benchmark，只有最后一天的交互才算成绩。

📄 KuaiRecV2: Benchmarking Large-Scale Continual Learning for Diversified and Multi-task Recommendation

🔧 30天连续学习流水线：每天用前一天训练出的权重作为初始化，在新一天的数据上继续训练，从而避开传统benchmark里“拿未来数据训练、再回头评过去”的老问题。

🧩 7天滑窗动态候选池：第t天创建的物品会在第t+1天入池，第t-6天创建的物品会在第t+1天被移除，冷启物品和热门物品需要一起应对。

⚙️ 三项指标一票否决：检索准确率、多样性（token级和item级都要看）、多任务表现，只有全部提升才算有效进步，单点涨分不算。

📊 FullMonth数据集：12.4万用户、2489万物品、4.84亿条交互、连续30天，稀疏度99.9843%（用户侧做了100-core过滤）。

📈 Small子集只取前两天：245万物品、3895万条交互，用来快速验证模型有没有基本有效性。

✅ 物品侧给了64维多模态embedding和8级semantic ID，tokenizer全程冻结、没碰这30天日志，规避了信息泄漏。

📉 一个反直觉结果：没有约束的RL偏好对齐，长期跑下来反而可能把性能拉低。

总结：做生成式召回或排序、且要跨天增量上线的同学，可以拿它当压力测试场。重点盯第30天的指标和遗忘幅度，别只拿Small子集的分数自我安慰；另外token级多样性要和业务类目对齐，这层映射论文没替你解决，得自己补。

原文：AlphaXiv