为什么分数上涨的 Agent 策略,我们仍然不让它上线
一次离线自进化实验里,训练集分数上涨、验证集下跌。本文写下验证集不可见、工具故障出分母、回归集否决权,以及搜索证据不等于可上线提案,解释分数变好为什么仍不能直接发布。
阅读全文记录企业 Agent 从方案到上线的实践:工作流怎么设计、评测门怎么设、离线实验怎么读。适合关心分数变好能不能发布、以及如何避免把搜索证据当成上线依据的读者。
一次离线自进化实验里,训练集分数上涨、验证集下跌。本文写下验证集不可见、工具故障出分母、回归集否决权,以及搜索证据不等于可上线提案,解释分数变好为什么仍不能直接发布。
阅读全文