小红书精读：A Systematic Study of Semantic ID Spaces for Generative Information Retrieval

DocID设计空间被系统性拆了一遍

各位算法同学们，生成式检索里能不能把对的文档召回回来，很多时候在你训练之前就被DocID的构造方式定死了，但大多数工作只固定一种量化方法加一组超参就直接开跑。

📄 A Systematic Study of Semantic ID Spaces for Generative Information Retrieval

🔧 把PQ和RQ塞进同一个参数化框架：先把文档向量切成C个子空间，每个子空间内部再做L步残差量化，DocID长度M=C×L。C=1退化成RQ，L=1退化成PQ，中间C、L都大于1的那块就是新的混合PQ×RQ，也是之前没被系统扫过的区域。

🧩 混合方案给了两种码本训练方式：PQ×R-KMeans逐层在残差上跑k-means，PQ×R-VQ端到端按重建损失学。作者特意跟OneSearch划清界限——后者只在全局RQ的最后一层残差上做PQ，这里是从头就把向量切成C路并行层级再各自做深度。

⚙️ 还定义了一套免训练的内在指标：唯一率U（不同文档撞同一个DocID会机械地压住召回上限）、归一化熵H（看码字用得均不均、有没有塌缩）、共享语义相似度S、对比对齐保持率A（采1000个有效三元组，看离散DocID的远近和连续向量相似度的排序一致到什么程度）。

📊 MS MARCO 300K上跑了60组配置，NQ320K上48组，把编码方式、码本大小V、DocID长度M、码本训练方式的影响分别拆开看。

📈 之前的工作基本固定单一量化方法和固定的V、M，平行（PQ）和残差（RQ）被当成两个互不相干的阵营，混合配置没被成规模地扫过，这篇补的就是这块空白。

✅ 这组指标的价值在训练前：先诊断DocID空间的结构可用性，而不是每次都训完一个生成模型再靠下游效果反推。

总结：正在做GIR、准备挑DocID编码方案的同学可以直接拿来当筛子。我会先看U有没有因为重复文本撞到上限，再看H有没有塌缩到少数几个码字，然后把S、A和下游Recall放一起看排序是否一致——不一致就说明这套代理指标在你的语料上不成立，别硬套。两个坑：一是摘要和正文里没给出下游检索的绝对数字，想抄具体配置还得翻全文；二是这些指标都是相对比较用的，没有绝对阈值。

原文：AlphaXiv