小红书精读：SHELF: A Synthetic Harness for Multi-Task Bibliographic Benchmarking

图书馆任务评测：SHELF基准的冷与热

各位算法同学们，论文里最扎眼的数字你猜是哪个？不是最高的0.8887，而是最低的0.2605——同一个系统里，主题分类能飘到快0.9，体裁分类却趴在地上，这种反差值得想想为什么。

📄 SHELF: A Synthetic Harness for Multi-Task Bibliographic Benchmarking

🔧 技术创新点 🔧 用国会图书馆词表加写作规范，自动生成带标注的合成文献数据，支持分类、聚类、检索、配对、指令检索五种任务，而且能把主题、体裁、受众、语域等维度分开控制。 🔧 不只给固定集，系统本身能生成模型训练截止之后的新文档，未来模型用旧数据污染不了它。 🔧 对比了几类方法：TF、TF-IDF、BM25、常见编码器，只在主题分类上加了零样本解码器，每种方法只跑能支持的任务，比Leaderboard更实在。

📊 实验效果 ✅ 主题分类最高0.8887，但体裁形式分类只有0.2605，差距不是一点半点。 ✅ 主题检索0.7104，体裁形式检索掉到0.1173，受众和语域配对任务基本接近随机。 ✅ 在主题分类上，稀疏方法不输稠密编码器，TF-IDF还是计时实验里最快的。 ✅ 与LCSHBench和Gutenberg对比发现，模型排名能转移，但绝对分数不能直接当生产数据准确率用。

总结感想：对这个基准，别只盯平均分，要看具体任务和标签空间。如果你做的是编目、文档元数据标注这摊事，可以拿来当模型体检工具；但落地到真实馆藏时，分数大概率会缩水，得自己做一轮验证。已有编码器都在训练截止前生成，换新模型前记得用同套流程再生成一遍，不然污染问题说不清。

原文：AlphaXiv