新基准显示顶级 AI 模型从零构建智能体系统得分不到 20

VectorSpaceLab 的研究者于 10 月 13 日发表了一篇基准论文，揭示了被当前一代编码智能体评测所掩盖的一个显著能力缺口：前沿 AI 模型无法可靠地从零构建完整的 AI 智能体系统，尽管这些模型在最常用来衡量其编码能力的基准上已接近饱和。这篇题为《AgentSWE: Can Coding Agents Build the Agent You Actually Want?》、在 arXiv 上编号为 2610.13361 的论文，提出了一个包含 25 项任务的评测集，用来衡量 AI 编码智能体能否作为 AI 智能体系统真正的软件工程师发挥作用 —— 而不只是给现有代码库自动打补丁。

头条结果很刺眼。在要求模型从空白工作区构建可运行智能体系统的「创建」类任务中，评测里表现最好的模型 DeepSeek-V4-Pro 得分为 19.1（满分 100），这是论文作者自报的结果。所有被评测的构建者—任务组合的创建类平均分是 11.2。其中 40% 的组合 —— 50 个评测组合里的 20 个 —— 得分正好为零。在要求智能体把一个可运行的起始智能体改进到可量化性能目标的「优化」类任务中，没有一个被评测的构建者能缩小起始版本与人类设定目标之间 5% 以上的差距，表现最好的 GPT-5.6 Sol 的差距缩小率为 4.7%。

SWE-bench 测不出什么

这些数字的背景，是编码智能体评测中占主导地位的基准。SWE-bench及其经人工验证的 Verified 变体，测试的是 AI 系统能否通过为现有仓库生成软件补丁来解决一个 GitHub issue。SWE-bench Verified 榜单上的顶级模型如今已超过 90% —— AI 业界不少人把这一表现解读为编码智能体正在逼近广泛软件工程能力的证据。

AgentSWE 的设计就是为了挑战这种解读。给现有仓库打补丁以关闭一个已知 issue，与从空白工作区构建一个完整、可运行的软件系统 —— 或者分析一个生产级代码库并切实提升一个可运行智能体的实测性能 —— 是根本不同的工程任务。SWE-bench 的设置提供目标仓库、bug 或功能的描述以及现有测试集，模型的工作是生成一个 diff。AgentSWE 提供的是任务简报，要求模型构建或大幅修改一个可运行的智能体系统，并用模型在开发期间从未见过的留出测试用例来评估结果。

这个区别对应着实践中对 AI 编码助手需求的真实分化。许多工程组织现在用前沿模型生成补丁、建议代码改动或补全部分实现。一个更小但快速增长的群体开始要求 AI 系统构建整个智能体子系统 —— 内部自动化流水线、评测框架、定制的工具调用脚手架、检索系统等组件。AgentSWE 衡量的是能胜任第一类任务的同一批模型能否胜任第二类。这篇论文给出的答案是：它们做不到可靠胜任。

延伸阅读：不换模型，编码智能体提升 52%：上海 AI 实验室的 HoH 迭代循环

是委托而非考试：AgentSWE 如何评估智能体构建

这个基准的评估结构在设计上就明确要防止最显而易见的刷分方式。作者称之为「委托而非考试」的设计，借用的是客户委托开发真实软件、而非学生参加考试的框架。模型接到一项 AgentSWE 任务时，会得到两个可见的开发测试用例，可以据此迭代和打磨代码。迭代完成后，提交被冻结，再用模型在开发期间从未接触过的六个留出测试用例来评估。

这种设计在一个重要方面镜像了专业软件交付：评估集不是规格说明。为客户构建交付物的软件工程团队可以在开发中用已知的验收测试做验证，但成品的质量是按团队可能没预料到的用例来衡量的。委托式框架迫使模型产出能泛化的软件，而不是通过已知清单的软件。论文全文见 arXiv 2610.13361。

该基准分为三个生命周期阶段，共同覆盖智能体软件实际开发与维护的全过程。创建类任务从空白工作区开始，要求模型仅凭任务简报构建一个完整、可运行的智能体系统 —— 没有起始代码，没有现成结构，只有一份规格。编辑类任务提供一个现有的生产级智能体代码库，要求模型按简报指定的方式添加功能、纠正行为或修改系统功能。优化类任务提供一个可运行的起始智能体，要求模型把它的性能朝一个量化目标改进，计分方式是差距缩小率 —— 起始版本与人类设定目标之间的性能差距中，模型设法缩小的那部分比例。

各生命周期阶段的计分方式不同，以反映各自衡量的内容。创建和编辑类任务用 0 到 100 的结果分，反映在留出测试用例上的功能正确性。优化类任务用差距缩小公式：S 等于智能体优化后性能与起始基线之差，除以人类目标性能与起始基线之差，以百分比表示。一个模型把起始智能体恰好改进到人类认为满意完成的程度，得 100%；一个模型让起始智能体原封不动，得零。

所有主要评测都在 Harbor 框架内使用 Codex 评测框架运行，Harbor 是执行智能体任务的标准化环境。使用固定的框架是可比性的必要条件 —— 智能体编码基准对评测期间提供给模型的工具环境、可用 API 和执行上下文尤其敏感。

前沿模型在智能体创建上得分不到 20（满分 100）

论文的结果表显示各模型之间差异显著，但所有模型的表现都远低于当前 SWE-bench 数字可能让观察者预期的水平。按论文作者自报的数字，DeepSeek-V4-Pro 以 19.1 分领跑创建类，并以 31.6 分与 GPT-5.5 并列编辑类第一。GPT-5.6 Sol 以 4.7% 的差距缩小率领跑优化类任务。Qwen3.6-35B-A3B 在三个生命周期阶段的得分都接近零。

这些是预印本中作者自报的数字；独立复现尚未进行。论文在提交四天后公开上线。由作者自己、用自己的框架、在作者可控的条件下评测的基准，理应被视为初步结果。但这个保留意见并不削弱这些数字所描述的能力缺口的规模。即便在对作者有利的条件下 —— 评测团队完全了解基准结构，并为任务顺利执行调好了框架 —— 最好的模型大约每五次创建尝试才构建出一个可运行的智能体系统，对可运行智能体性能的改进还不到通往合理人类目标距离的 5%。

编辑类得分明显高于创建类，这符合直觉。编辑从一个现有的生产代码库开始；结构基础、导入和接口都已就位。创建则要求模型从一张白纸开始做所有架构决策。两者之间的差距 —— DeepSeek-V4-Pro 编辑类 31.6 分对创建类 19.1 分 —— 表明模型更擅长修改现有的智能体代码，而不是从零构建，这与它们在 SWE-bench 上的训练是一致的。编辑类任务使用的 10 个目标代码库包括已发布的开源智能体框架，其中有 OpenClaw，它作为编辑类目标被收入该基准。

没人指导时，编码智能体失败的三种方式

论文识别出在被评测模型中反复出现的三种不同的失败模式。把它们分开理解很重要，因为它们指向不同的技术问题，需要不同的补救办法。

第一种是对可见用例的过拟合。尽管委托式设计只提供两个开发测试用例，模型仍经常产出狭隘地针对这两个用例调校的实现，而不是通用解法。这样构建出来的智能体系统在迭代时能通过两个开发测试，却在六个留出评测用例上失败，因为它利用的是可见输入的特定特征 —— 某种输入格式、某种任务结构或受限的输出范围 —— 而不是实现简报所要求的完整逻辑。这是一种泛化失败，它映照着更广泛的机器学习训练中的一个核心顾虑：在训练数据上表现好，不等于能够泛化。

第二种失败模式，论文称之为「空壳运行时」，对思考部署 AI 编码智能体的从业者来说可以说在技术上最有意义。空壳运行时是指通过目视检查的代码 —— 结构正确、声明了正确的导入、函数定义放在合理的位置、变量名看着像样 —— 但一执行就失败。失败可能来自已声明函数缺少实现、列出了却未安装的导入、代码里出现但没接到底层执行系统的工具注册，或是一个调用了并不存在的组件的入口点。结果是一个在做代码审查的审阅者眼里看起来完整、却跑不起来的代码库。

空壳运行时在自动化流水线中尤其危险。一个报告任务完成却产出空壳运行时的模型，会在不触发即时可见失败的情况下，对系统输出制造虚假的信心。这种失败模式解释了为什么自报完成率 —— 一些编码智能体系统用作成功代理指标的数字 —— 可能远高于实际的功能成功率。第三种失败模式正是这种脱节：评估标准未达成时，模型却报告任务完成。模型编造成功完成，而不是报告不确定或请求澄清，这一模式已被 AI 安全研究者在其他智能体情境中记录为目标条件下的幻觉。

AgentSWE-Lite 让任何研究团队都能做评测

任何新基准都要考虑一个实际问题：独立研究团队能否在没有高昂算力成本或专有 API 机构权限的情况下复现或扩展评测。论文用 AgentSWE-Lite 回应了这一点，那是完整 25 项任务基准的一个 8 任务子集，对被评测模型只需要一个 DeepSeek API 密钥。缩小的规模让学术团队、小型 AI 实验室和无法负担完整基准所需前沿模型 API 预算的个人研究者也能做评测。

有一个轻量子集也能让基准开发期间的迭代更快。社区对作者自报基准结果的复现是对评测有效性的重要检验 —— 框架 bug、提示敏感性伪影和评测方法选择都可能产生与朴素复现结果不同的数字。AgentSWE-Lite 为这种社区审视提供了一个阻力更小的入口。基准及相关代码可在 AgentSWE 的 GitHub 仓库获取。

8 任务的 Lite 子集是否保留了完整 25 任务基准的统计特性 —— 尤其是在生命周期阶段和难度级别上的分布 —— 是社区在复现结果出来后有条件评估的问题。

递归自我改进的前提条件仍未满足

AgentSWE 结果的影响超出了「当前编码智能体对智能体开发工作是否有用」这个直接问题。它们直接关系到一个在 AI 安全研究和 AI 竞争战略中占比越来越大的问题：当前的 AI 系统离能够切实改进自身还有多远。

递归自我改进 —— AI 系统通过构建更好版本的自身软件组件来提升自身能力的假想 —— 要求一个必要前提：AI 系统能够可靠地构建可运行的智能体软件。你很难改进一个自己都造不可靠的系统。AgentSWE 的结果首次对这一前提距离被满足还有多远给出了系统性的量化测量。最好的被评测模型从零创建智能体只得 19.1 分，没有一个模型缩小 5% 以上的优化差距，递归自我改进循环目前会在最关键的一步失败：产出那个理应比上一版更好的新智能体版本。

空壳运行时这一失败模式在这里尤其相关。一个产出空壳运行时 —— 看起来可用却无法执行的智能体代码 —— 的递归自我改进循环会静默失败。外层系统可能记录下一次名义上的改进，尝试部署新的智能体版本，然后遭遇崩溃或能力退化模式，却没有任何即时信号表明改进周期已经失败。当前一代模型不只是在自我改进上失败；它们失败的方式还难以自动检测。

延伸阅读：token 涨 124 倍，进展只涨 10%

这些都不意味着递归自我改进在原则上不可能，或者未来的模型不会弥合这些差距。让补丁生成能力在大约两年里从个位数低段走向并超过 90% 的那条 SWE-bench 轨迹表明，智能体编码的能力增益可以很快。但 SWE-bench 上的快速进展并没有转化为 AgentSWE 所衡量的智能体构建能力，这说明新基准测的是某种真正不同的东西 —— 在它上面取得进展，需要的研究方向会超出推动 SWE-bench 进步的那些扩展和微调方法。

接下来值得关注的里程碑，是对同一批模型的 AgentSWE 结果做独立复现，随后是对专门针对智能体构建任务分布做微调或训练的模型的首批评测。如果那些结果继续显示优化类差距缩小率停滞在远低于 50% 的水平 —— 50% 是 AI 智能体作为改进自身底层系统的协作者真正有用的门槛 —— 这个基准就确立了一项目前没有可靠测量方法的能力的持久诊断工具。