AI智能体的工具箱一直在长大，但没人问过它记不记得旧本事

你有没有遇到过这种情况：手机系统更新之后，某个你用惯了的功能突然找不到了，或者变得很难用了。App本身没坏，你的操作习惯也没变，但因为界面多了十个新按钮，你反而找不到原来那个熟悉的入口了。

这篇来自Salesforce AI Research的论文，讲的就是AI智能体身上正在发生的同一件事，只不过被系统性地测量了出来。

**核心问题：工具箱越来越大，智能体反而变笨了？**

先说清楚一个概念。

智能体*：这里指基于大语言模型构建的自动化系统，它不只是回答问题，还能调用外部工具、执行多步操作来完成任务

现在市面上的智能体早就不是"一个模型加一段提示词"这么简单了。它们背后有一整套"装备"：能调用的工具、能复用的操作流程、能协作的其他专家智能体。研究者把这套装备统称为harness。

harness*：论文中指智能体运行时所依赖的外部能力集合，包括可调用的工具、可复用的技能（procedural skills）、以及可协作的专家智能体，这套集合会随时间不断扩充

问题就出在这里：harness不是一成不变的。Salesforce自己的Agentforce生态系统在持续扩张，OpenAI的公开技能库也在不断增删改。这不是一个理论假设，是正在发生的现实。工具越加越多，智能体的"能力边界"每天都在变。

但奇怪的是，过去评估AI智能体的方式几乎从不考虑这一点。以前的持续学习基准测试，通常是让任务本身发生变化，而把智能体能用的工具、技能、伙伴固定死。这就好比考试年年出新题，但你手里的计算器、参考书永远是同一套。而这篇论文说的是反过来的情况：题目没怎么变，但你的工具箱、参考书、能请教的同学，每隔一段时间就多出一批新的。

**这套装备膨胀之后，会出什么问题？**

论文提出了两个截然不同的挑战。

第一个叫"部署时的能力保持"。想象你原本能熟练用20个工具解决一批任务，现在harness扩容到了200个工具，其中180个跟你原来的任务毫无关系。理论上你还是能用那20个工具完成任务，实际上呢？你要先在200个选项里找到那20个，还得抵抗新工具带来的干扰。模型参数没变，你的能力其实"应该"还在，但因为周围环境变复杂了，你反而做不好原来能做好的事。论文把这种现象叫做harness诱导的遗忘。

harness诱导的遗忘*：指模型参数和提示词完全不变，仅仅因为外部提供的工具/技能/智能体池子扩大了，导致智能体在原本能解决的任务上表现下降的现象

这就好比你搬进了一套更大的房子，储物空间是多了，但你原来放在厨房固定位置的调料瓶，现在散落在三个不同的柜子里。做饭这件事你完全会，但找调料的时间变长了，甚至有时候干脆找错了瓶子。如果不扩大房子，你的效率不会下降；正是"扩容"这个动作本身，制造了新的麻烦。这不是能力退化，这是环境变复杂之后的检索代价。

第二个挑战更隐蔽，叫做"自我进化式适应下的经验失效"。很多智能体系统会自己积累经验：记住过去成功的操作套路，总结出一些可复用的技能，或者学会一套委派任务给专家的策略。这些积累下来的经验，都是在早期、比较窄的harness下攒出来的。等harness扩容之后，这些经验可能就过时了，甚至可能反过来带偏智能体的判断。

举个例子。你在一家小公司干了三年，摸透了公司内部所有的报销流程和沟通惯例。突然公司并购扩张了十倍，多了十个新部门、新系统、新流程。你过去总结的那套"经验之谈"，有些还管用，有些已经彻底不适用了，甚至可能因为你太依赖旧经验而在新环境里判断失误。如果没有这套旧经验，你反而会更谨慎地重新摸索；但正因为你太相信过去攒下来的直觉，反而在新环境里栽了跟头。这就是论文说的，经验可能变得"陈旧"甚至"有害"。

**EvoHarnessBench：怎么把这件事变成可测量的科学问题**

光提出问题不够，研究团队构建了一个叫EvoHarnessBench的基准测试系统，专门用来量化这两个挑战。

这套基准测试沿着三条轴线构造harness的演化：工具的扩充（比如API目录变大）、技能的扩充（比如可用的操作流程变多）、以及智能体的扩充（比如可协调的专家越来越多）。整个基准包含17条多阶段的harness演化流，涵盖802个独立任务，520个可执行工具，42个隐藏参考技能，62个专家智能体。

这些数据来自哪里？研究团队没有凭空造题，而是从两个已有的、带验证器的benchmark改造而来，一个叫EnterpriseOps-Gym（企业级有状态工作流场景），一个叫Agents' Last Exam（更多样化的软件工具场景）。

验证器*：指能够自动判断一次任务执行是否成功的程序，通常通过检查数据库状态、文件内容等最终结果来打分，不依赖人工评判

构造过程完全是确定性的，没有让大模型生成新任务，也不需要人工标注。具体做法是：先统计每种能力（工具/技能/智能体）在原始任务中出现的频率，频率高的先发布，频率低的长尾能力后发布，这模拟了真实世界里核心功能先上线、长尾功能慢慢补齐的规律。每个任务被分配到它能被解决的最早阶段，同时确保这个阶段至少引入了一个它需要的新能力。这样就制造出了"新能力压力"，逼着系统必须真的用到新东西才能过关，而不是靠老办法蒙混过关。

评测协议也分成两种模式。一种叫部署评估，每个阶段都是一个全新的系统实例，不带任何历史记忆，专门用来隔离出harness扩张本身带来的直接影响。另一种叫自我进化适应评估，系统在每个阶段可以用适应数据（adaptation data）更新自己的持久化状态，比如记忆、学到的技能、或者提示词，然后拿这些积累的经验去应对下一阶段。这样设计的巧妙之处在于，它能把"环境变了"和"我学错了东西"这两种效应彻底分开来看，而不是混在一起变成一笔糊涂账。

**工具轴的发现：给得越多，做得越好，但是越贵**

先看工具这条轴的结果。

一个反直觉的发现是：把智能体从只给它任务所需的工具，换成给它全部累积的工具目录，正确率反而提升了。在EOG环境里，从26.0%涨到30.2%；在ALE环境里，从11.6%涨到12.2%。这说明更大的工具池并不纯粹是干扰，智能体确实能从额外的可用工具里挖到有用的东西。

但代价是token消耗暴涨了近三倍（27.2M涨到75.8M）。也就是说，智能体确实能利用更多工具做得更好，但它是靠疯狂多花时间搜索和试错换来的，这不是免费的午餐。

再看自我进化适应能不能进一步改善。结果是能，但很不稳定。在EOG上，MemToolAgent这种基于记忆的适应方法把正确率拉到了38.6%，比不做适应高出8个百分点；但同样的方法放到ALE环境，效果反而不如不做适应。这说明积累经验这件事，效果高度依赖具体环境，不能简单假设"攒得越多越好"。

更值得注意的是retention（能力保持）和adaptation（适应新能力）之间的张力。部署评估显示，什么都不做，光是harness扩容，就已经让智能体在旧任务上的表现出现了负向的反向迁移（backward transfer，简称BWT）。而某些自我进化方法虽然能把这个BWT从负转正，代价却是在新任务上的正向迁移（forward transfer，简称FWT）大幅下滑，GEPA和Meta-Harness在ALE上的FWT分别掉到了-28.5%和-11.1%。

反向迁移（BWT）和正向迁移（FWT）*：BWT衡量智能体在harness扩张后，是否还能保持对旧任务的解决能力；FWT衡量智能体是否能顺利用上新引入的能力完成新任务，两者可能此消彼长

这就像一个学生为了巩固已经学会的旧知识点，把大量时间花在复习上，结果新单元的作业反而写不完了。复习和预习本来该是互相促进的，但资源和注意力是有限的，一旦系统把优化目标定得太死，就容易顾此失彼。

论文还做了一个很有意思的对照实验：如果只让适应过程接触到任务专属的工具，而不是全部累积的工具，会怎样？结果显示，MemToolAgent的最终表现几乎不变，但适应所花的时间从23.9小时降到了17.9小时。这说明狭窄、聚焦的经验积累环境能让学习效率更高，虽然对最终质量的影响因方法而异。

**技能轴的发现：工具箱变大没事，但你压根没打开新工具箱**

技能这条轴的故事完全不同。

跟工具轴不一样，从任务专属技能切换到累积技能池，部署阶段的表现几乎没变化（Codex在EOG上稳定在18.9%左右）。这说明单纯扩大技能库本身，并不会直接造成干扰，原因很简单：技能不像工具那样是"随时可执行的动作"，它得先被检索出来、被主动调用，才会真正发挥作用。

但这恰恰引出了一个更深的问题：智能体到底有没有真的去用这些技能？

论文的一个观察结果相当扎心：默认的GPT-5系统在最后阶段几乎完全不去调用任何提供给它的技能。相比之下，任务专属场景下的GPT-5.5能调用82%的技能，Claude Code能调用15%。这说明技能会不会被用起来，很大程度上取决于底层模型本身的行为习惯，而不是取决于技能库设计得好不好。

这就好比公司给每位员工都配了一本详细的操作手册，放在抽屉最显眼的位置，但大部分人压根不会打开它，遇到问题还是凭本能瞎试。手册质量再高，没人翻开也没用。而少数人一旦养成了查手册的习惯，效率立刻不一样。这说明问题不出在"手册写得好不好"，而出在"有没有形成查手册这个动作本身"。

好消息是，这个习惯是可以被训练出来的。用GEPA这种基于提示词优化的方法去做自我进化适应，能把GPT-5的技能调用率从接近0拉到31%，正确率也从18.9%提升到24.1%，这是三条轴线里通过自我进化适应获得最明显收益的案例之一。

GEPA*：论文中评测的一种提示词优化方法，通过反思式的提示词进化来改善智能体表现，出自Agrawal等人2026年的工作

论文还专门研究了智能体自己生成技能库的效果，发现"怎么生成技能"比"生成多少技能"重要得多。一种叫Batch Teacher Feedback的方法，通过批量反馈迭代打磨技能，效果最好；而像One-shot、Self Feedback这种简单粗暴的一次性生成方法，反而比完全不给技能库还要差。这就像临时抱佛脚整理出来的错误笔记，还不如干脆不做笔记，因为错误的经验总结反而会误导你的判断。

**智能体轴的发现：这是遗忘最严重的地方**

三条轴线里，智能体（即专家协作）这条轴的波动最剧烈，也是问题最严重的地方。

任务专属场景下，多智能体协调本身的表现就已经很低（EOG上只有6.5%，ALE上只有5.3%），这本身反映出多智能体协作有多难。切换到累积的智能体池之后，EOG提升到8.8%，但ALE反而下降到4.2%。这说明扩大专家池，效果高度依赖具体的协作环境，不是一个可以简单套用的规律。

自我进化适应在EOG上带来了三条轴线中最大的提升：Meta-Harness把正确率从8.8%的基线拉到18.5%，几乎翻倍。但同样的方法拿到ALE环境里，大部分方法都不如不做适应，只有GEPA有明显改善。这说明智能体轴的潜在收益空间最大，但对环境结构的敏感度也最高。

真正令人警醒的数字，是反向迁移的表现。ALE环境下，不做任何适应的部署基线，BWT居然是-34.7%，这是三条轴线里最严重的遗忘现象。研究团队进一步挖出了原因：不是新加入的、不相关的智能体把旧任务带偏了，而是那些曾经在成功执行中被调用的专家智能体，在harness扩容之后，反而不再被调用了。

论文把这个过程拆解得很细。研究者对比了任务成功和失败情况下的"委派集合漂移"，发现没做自我进化适应的情况下，漂移率从13%涨到25%。而新引入的、非必要的智能体被误调用的比例，其实并没有系统性地在失败任务上更高。

这就好比一个团队原本有一套默契的分工，A负责对接客户，B负责处理财务，C负责技术支持，配合得很顺畅。突然公司新招了十个人，A原本习惯性地找B对接财务，但现在B可能被淹没在新流程里找不到了，于是A干脆自己瞎处理，结果搞砸了财务这一块。问题不在于新人添乱，而在于原本行之有效的合作路径被打断了。如果团队规模没有扩大，A和B的默契本来能一直维持下去，正是规模扩张这件事，冲垮了原来稳固的协作结构。

论文还有一个非常细致的发现，关于自我进化适应到底在改善什么。答案不是"更精准地判断该找谁"，而是"更完整地把该找的人都找齐"。数据显示，自我进化适应之后，委派的精确率（precision）几乎没变，稳定在90%左右，但召回率（recall，也就是找齐所有该找的专家智能体的比例）从79%涨到了89%。换句话说，智能体本来就大致知道该找谁，问题是它经常漏掉其中一两个关键角色，自我进化适应主要在补上这个漏洞。

**三条轴线放在一起看，能得出什么共同的教训**

把三条轴线的结果并排摆在一起，能看出一些跨越具体场景的规律。

第一个教训是，harness本身的变化就足以制造遗忘问题，而且这种遗忘的具体成因在每条轴线上都不一样。工具轴的问题是可执行动作空间变大了；技能轴的问题是需要主动检索和调用；智能体轴的问题是额外增加了委派和协调的复杂度。三种机制完全不同，说明这不是一个能靠单一补丁解决的问题。

第二个教训是，自我进化适应有没有效果，取决于适应过程本身接触到的harness环境。工具和技能轴上，让适应过程只接触任务相关的窄范围反而效果更好；但智能体轴恰恰相反，让适应过程从一开始就接触完整的、稳定不变的专家池反而效果最好。这说明"内层适应"和"外层harness演化"根本不能割裂开来单独优化，两者必须联合考虑。

第三个教训最反直觉：适应带来的收益和保持能力的收益，经常是两回事。有些设置下，适应方法明明改善了旧任务上的表现，却让新任务的表现变差了；反过来也有类似情况。一个系统整体分数变好了，完全可能是因为它在"守住老阵地"和"开拓新战场"之间做了取舍，而不是两头都变强了。这提醒我们，光看一个综合分数，很容易被表面的进步蒙蔽，看不到底层其实此消彼长的真相。

**这项研究留下的悬念**

论文最后提出了几个值得继续探索的方向。一个是双层优化的思路，让内层的适应过程和外层评估当前更新是否依然有效这两件事联动起来，而不是各自为战。另一个是给系统装上一种"过期经验探测器"，主动判断哪些积累下来的记忆或技能已经不适用了，该修正、保留还是干脆丢弃。还有一个是超越单纯的能力增长，去研究能力被替换或者被淘汰的情况，那会涉及更复杂的迁移和废弃问题，这其实更贴近真实世界里软件系统的生命周期。

Q&A

Q1：EvoHarnessBench是什么？

A：EvoHarnessBench是Salesforce AI Research推出的一个基准测试系统，专门用来评估AI智能体在外部工具、技能、协作智能体不断扩容的情况下，是否还能保持原有能力并顺利适应新能力，包含17条演化流、802个任务。

Q2：harness诱导的遗忘具体指什么现象？

A：指模型参数完全没变，仅仅因为可用的工具、技能或智能体池子变大了，导致智能体在原本能顺利完成的任务上表现下降，本质是环境变复杂后检索和执行成本上升导致的能力发挥受阻。

Q3：为什么给智能体更多工具反而会带来问题？

A：研究发现给更多工具确实能提升正确率，但代价是token消耗大幅增加，而且旧任务的表现可能因为工具池变大而下降；同时积累的经验记忆如果继续用旧的做法应对新环境，还可能出现适应新任务和保持旧能力互相拖累的情况。