小红书精读：PALATE: Pretrained Autoregressive LATent Embeddings

一个冻结向量，比模型里现搭的注意力还猛？

各位算法同学们，先甩个反常识的结论：在DoorDash的广告排序里，一个每天离线刷新一次、梯度完全不回传的256维用户向量，是整套特征里单特征增益最大的那个，而在排序模型里现搭一个DIN注意力模块叠上去，只多了一点点。

📄 PALATE: Pretrained Autoregressive LATent Embeddings

🔧 把用户历史当成一句话来续写：用GPT式decoder（3层3头、768宽、200长度上下文）预测用户接下来会点或下单哪几个商家，取最后一个token的hidden state当用户向量，冻结后喂给DCNv2排序模型，Discovery和Search两个意图完全相反的界面共用一个向量。

🧩 探索加权损失：外卖场景复购极重，下一位大概率是历史里已有的店，uniform loss下模型躺着猜复购就能拿高分。他们把目标商家的新老状态做成权重，新商家0.9、复购0.1，把表示往“尝新”方向拽。

⚙️ 两阶段课程加精心设计的负样本：先点击预训练保广度，再从该checkpoint热启动做转化微调锐化购买意图；负样本用约6万热门商家固定池和“曝光未下单”做硬负，再混随机与in-batch负样本压成本。

📊 离线单特征增益最大：Discovery相对Eval-AUC +0.59%，Search +0.57%。

📈 在线作为打包重训的一部分上线：Discovery收入+0.79%、转化率+1.17%；Search收入+0.94%、转化率+1.50%。

✅ 同一个冻结向量同时吃到浏览型探索场景和查询型意图场景，这点比数字本身更有意思。

总结下我的判断：如果你做的是复购重、标的物几十万量级、又不想给每个排序任务重搭一套序列建模的场景，这套“训练一次、冻结复用、当普通稠密特征”的路子是划算的。要盯的是探索权重那个比例（他们扫了uniform、3:1、9:1，最后取0.9/0.1）和硬负池的更新频率；坑在每日刷新任务的延迟，新鲜行为进不来时向量会钝，另外别指望它替代序列内建模，它更像一个便宜的公共底座。

原文：AlphaXiv