小红书精读:Cost-Aware Agentic Feature Optimization System for Fleet-Scale Ranking Models
🤖Meta用LLM给模型集群自动挑特征
各位算法同学们,特征工程这项工作,Meta直接交给LLM agent去做了,线上A/B主指标涨0.20%;注意这是线上数据,并非离线数据。这篇讲的是:在上万个特征的共享池里,为一整个排序模型集群自动生成、排序并挑选特征,同时还要满足QPS和pipeline成本限制。
📄 Cost-Aware Agentic Feature Optimization System for Fleet-Scale Ranking Models
🔧 LLM只负责提出假设和召回候选,实验执行交给确定性工具:bigram交叉特征空间能到千万量级,先用一个在全集群效果上持续微调的检索LLM做一次前向计算进行粗筛,再交给特征重要性(FI)精排;模型优化得越多,这个生成器越准。
🧩 多任务模型不把各任务的重要性分数加权求和,而是按Pareto最优来选:特征i必须在所有任务上都不弱于i’,并且至少有一个任务更强,才能支配i’;然后逐层取前沿直到凑够N个,这样就不用再手动调任务权重。
⚙️ 搜索只给10-25次试验、最多4-8个并发,LLM Researcher在QPS和显存上限内调整各类特征配比与混合系数;pipeline成本由trimming控制:如果别的模型已经在用某个特征,这个特征就不额外计成本,一旦超预算就先删最贵的,再回填同类已用特征。
📊 在生产模型上,各模型在自身预算内把NE平均改善0.31%;论文称超过0.03%即显著。
📈 trimming把pipeline成本降低2.3%,且没有出现超出测量噪声的回退。
✅ 优化后的模型已上线,在线A/B测试中主指标提升0.20%。
总结:这套方案的难点主要不在LLM,而在于你是否有跨模型共享的特征成本记录;没有这套记录,trimming那一步就无从谈起。想跟进的话,盯两个指标:NE相对 incumbent 的增量,以及QPS卡死之后特征配比怎么变。小团队全量复现成本偏高,先借鉴Pareto前沿选特征那部分更现实。
原文:AlphaXiv