小红书精读：Understanding ChatGPT Citations: Evidence from Production Web Search Across Model Generations

ChatGPT引用只有1/4能复现🔍

各位算法同学们，在ChatGPT里被引用一次，换个模型设置可能就查无此人。这篇工作把ChatGPT Web从检索到引用的整条链路扒开看了一遍，还顺手测了两个外部代理到底能还原多少。

📄 Understanding ChatGPT Citations: Evidence from Production Web Search Across Model Generations

🔧 作者从服务端SSE trace里还原完整执行链：改写query、检索候选、挑引用，并且把分析拆到URL、hostname、entity三层，而不是只看最终回答里出现了谁。

🧩 四个设置的行为差异很大：Instant基本是单轮，5.3平均只执行1.06次查询、5.5是1.45次；5.4 Thinking平均跑到11.82轮，后几轮还会不断收窄搜索目标。

⚙️ 同一query重复跑20次，候选网页在被检索时出现得越频繁，被引用的概率越高；检索snippet更长也是个弱但稳定的正向信号，这点可以直接当监控指标用。

📊 数据规模：5.3和5.5各80个query跑20次，各1600次运行；5.4 Thinking平均返回73.5个主候选，最终只引用7.81个，检索可见和引用可见完全是两回事。

📈 拿Google Search加Responses API当代理，合起来只召回28.3%和26.2%的被引URL，换到hostname层能到50.3%和48.7%，URL级对齐本身就是个伪命题。

✅ 把两个代理的信号拼进监督模型后，5.3 instant在URL、hostname、entity三层AUC为0.782、0.763、0.743，5.5是0.779、0.763、0.742。

总结：做GEO监测的同学，指标别只盯URL层，hostname和entity层才是外部代理能对上的地方；模型设置一换（Instant换Thinking、版本迭代）策略就得重测。坑也直白：AUC是在外部代理候选集内部算的，覆盖只有四分之一左右，不能拿它当全量线上效果的替代。

原文：AlphaXiv