ParanoiaEval：基准评测智能体编码中不必要的防御性工作

ParanoiaEval：基准评测智能体编码中不必要的防御性工作

Hanjun Luo∗，单位：纽约大学。Xiucheng Zhang。Zhuoning Xu。Zhimu Huang，单位：纽约大学阿布扎比分校。Yingbin Jin，单位：香港理工大学。Xinfeng Li，单位：香港理工大学。Hanan Salam†

纽约大学；纽约大学阿布扎比分校；香港理工大学

摘要

随着编码智能体越来越多地自主承担真实世界的工作，判断它们的风险处置是否有根据变得重要。已有工作从各自的角度评测相关的智能体行为，但缺少一个把这些行为统一起来的系统框架。为弥补这一缺口，我们提出 ParanoiaEval，第一个对编码智能体的风险处置能力做统一评测的基准。它扎根于软件工程风险管理中已经确立的回避—转移—缓解—接受框架，把其中 4 种基本处置操作化到编码智能体场景，并包含 200 对证据受控的仓库级任务对，每一对只在定义处置的证据上不同。我们进一步为风险处置违反和证据响应度引入专门指标，并用一个经过人工校准的智能体裁判做可靠评测。在 8 个有代表性的模型上的大规模实验，以及一项事后人类研究，揭示：（I）尽管证据明确，不必要的风险处置仍出现在 11.2% 到 58.7% 的运行中，并且在智能体配置之间差异很大；（II）更强的任务能力并不能保证更恰当的风险处置，而处置违反会实质性地损害开发者的体验，从而把风险处置确立为一个独立的能力维度；（III）智能体表现出与已确立的风险管理发现一致的系统性模式，说明来自人类实践的知识可以指导这一能力的诊断与改进。

译注：HTML 把脚注标记展成了 “ParanoiaEval 11 1”。原文脚注为：Code and data are available at https://github.com/ZhuoningXu/ParanoiaEval_release。

††脚注：∗同等贡献。†通讯作者：Hanjun Luo（hl6266@nyu.edu）与 Hanan Salam。

1 引言

由大语言模型驱动的编码智能体，正在从局部的代码生成工具演变成能够在真实仓库中完成多步软件工程任务的自主系统（Anthropic, 2025a; Tang et al., 2026）。在这种工作方式里，智能体不仅决定如何完成任务，还决定如何探索仓库、如何验证结果、如何处理不确定性，以及针对潜在风险采取什么预防措施（Huang et al., 2025）。恰当的风险处置是可靠执行的必要组成部分（Moeini & Rivard, 2019）。当来自任务和环境的证据已经确立一项风险应当如何处置时，继续扩大验证范围、增加额外的保护逻辑或再做备份，可能带来额外成本、引入无关修改，甚至干扰原任务的完成（Anthropic, 2026b; Karpathy, 2025; OpenAI, 2026b）。已有的大规模用户研究也表明，一个可靠的编码智能体不应当只是更谨慎，而应当在正确完成任务的同时，使防御行为与实际风险相称（Stack Overflow, 2025; Liang et al., 2024）。

然而，主流的编码智能体评测仍然以功能正确性为中心，通常用它是否完成任务或通过测试来度量能力（Jimenez et al., 2024; Deng et al., 2025; Merrill et al., 2026; Luo et al., 2026d）。随着智能体更加自主，近期工作开始检查执行过程本身，并在特定语境中判断某一种风险处置是否必要、恰当，或越出了任务边界（Mehtiyev & Assunção, 2026; Luo et al., 2025）。尽管如此，术语、分类、任务语境和判断标准的差异，使这些评测在不同风险处置之间彼此分裂，没有一个共同的能力维度来做系统分析（Jin et al., 2024; Liu et al., 2024; Kapoor et al., 2025）。没有共享的理论基础，这些结果就难以比较，也难以用来解释不同行为之间的关系。这种分裂与以人类开发实践为中心的成熟软件工程研究形成鲜明对照：后者把表面上不同的风险处置组织进一个统一框架，使相应决策可以在共享概念下被描述、比较和系统分析，并为随后的诊断与改进提供更可解释的基础（Bannerman, 2008）。

ParanoiaEval 是编码智能体风险处置能力的第一个统一基准。它建立在美国国家标准与技术研究院（NIST, 2025a）为软件风险管理确立的回避—转移—缓解—接受（ATMA）框架之上。它把四种基本风险处置操作化到编码智能体场景，覆盖 44 个具体情境，使先前用不同术语和判断标准描述的行为可以从一个共同视角来分析。ParanoiaEval 包含来自 50 个仓库的 200 对证据受控的仓库级任务对。如图 1 所示，每一对中的两个任务只相差确立相应风险处置的那一条关键证据，其余任务条件保持不变。这一设计使我们能够评测并比较不同智能体把恰当的风险处置与不必要行为区分开来的程度。在任务完成结果之外，ParanoiaEval 为风险处置违反和证据响应度引入两个专门指标，并用一个对照人类金标准标注校准过的智能体裁判来裁决相关的风险处置行为，从而全面刻画智能体高度依赖语境的风险处置能力。

图 1：ParanoiaEval 用证据受控的任务对表明，同一种防御动作在何时是恰当的，何时是不必要的。

借助 ParanoiaEval，我们在 Claude Code 与 Codex 中对 8 个有代表性的模型做了 9,600 次运行的基准评测，并与 20 名开发者做了事后人类研究。结果首先表明，ParanoiaEval 能稳定地把智能体行为在成对变体之间分开。我们的发现进一步揭示，不必要的风险处置是：❶ 普遍的，即使定义处置的证据明确在场，它仍出现在 11.2% 到 58.7% 的运行中，并且在配置之间差异很大；❷ 与任务能力脱钩，更高的任务成功并不转化为更少的违反；❸ 对开发者有害，在 5 分量表上把满意度评分降低 1.27 分；❹ 有系统模式，与已确立的风险管理发现一致。例如，文献指出缓解缺少自然的停止点（Feather et al., 2006），当所需幅度未被量化时，智能体会过度缓解，使违反率最多提高 68.7 个百分点。这些发现把风险处置确立为一个独立的能力维度，并表明人类软件工程实践中已经确立的知识可以指导它在编码智能体中的诊断与改进。

我们的核心贡献概括如下：

• 统一视角。我们把软件风险管理中的 ATMA 框架操作化到编码智能体，在 4 种基本处置上建立对智能体风险处置行为的统一看法，使先前分裂的行为可以在共享概念下比较。
• 证据受控的基准。我们提出 ParanoiaEval，第一个统一评测编码智能体风险处置能力的基准。它包含来自 50 个仓库的 200 对受控任务，并带有专门指标和一个经过人工校准的智能体裁判。
• 实证洞察。我们在 2 种用具上基准评测 8 个模型，并做了人类研究，揭示不必要的风险处置是普遍的、与任务能力脱钩的、对开发者有害的，并且有系统模式，从而把未来的智能体指向人类软件工程知识。

2 相关工作

近期工作在功能正确性之外检查编码智能体的行为。一条线把超出良性任务授权范围的动作刻画为过度热心的动作或过度热心的行为，并考察同意线索和智能体框架如何影响其发生（Qu et al., 2026b; Qu et al., 2026a; Xu et al., 2026）。另一条线问智能体是否知道何时不该行动。FixedBench 把修改已经正确的代码刻画为行动偏差（Gloaguen et al., 2026），而编辑保真度研究把超出最小修复的重写描述为过度编辑（Zhu et al., 2026）。以轨迹为中心的评测则把对任务完成贡献很少的步骤标为冗余（Hu et al., 2026），或在过程纪律下评估规划、验证、恢复和弃权（Madiraju & Madiraju, 2026）。尽管术语不同，这些行为共享一个共同机制：在已有证据、用户授权或当前任务状态已经确立该动作没有根据之后，智能体仍然发起、扩大或坚持该动作（Nanda et al., 2026）。实践中的开发者也把它们当作一类问题来回应。他们明确不喜欢含有过多编辑和未被请求之改动的轨迹（Koshchenko et al., 2026），过度工程是回退智能体所写代码的首要原因（Oukhay et al., 2026），近期的立场工作主张未经请求的智能体行为必须向用户提供价值（Bui & Evangelopoulos, 2026）。尽管如此，这些行为一直分别从授权、动作选择、编辑范围和执行效率的角度被研究，尚未被作为一个整体来系统分析。

对照之下，软件工程已经发展出风险处置的系统传统。早期软件风险管理使风险识别、分析、排序和控制贯穿项目生命周期（Boehm, 1991; Fairley, 1994; Alberts et al., 1996）。工业案例研究（Freimut et al., 2001）以及与有经验的项目经理的访谈（Taylor, 2006）随后把这些原则转化到实践中，表明风险处置需要对成本、责任和项目约束做依语境的选择，而不是一律增加更多控制。决策支持研究进一步围绕从业者的明确响应选择来组织风险（López & Salmeron, 2012; Feather et al., 2001）。NIST 为这些选择提供了制度基础，把接受、回避、缓解、分担和转移区分为基本风险响应（NIST, 2011）。软件工程研究随后把 ATMA 框架操作化，并用 302 名项目经理和负责人的数据经验地考察它与范围、质量、进度和成本的关系（Bhoola et al., 2014）。进一步的以人为中心的证据表明，风险处置决策还依赖于目标一致、团队协调和周围的组织语境（Singh, 2024; Barki et al., 2001; Schmidt et al., 2001）。最新的 NIST IR 8286 Rev. 1 把分担并入转移，并保留接受、转移、缓解和回避，作为对负面风险的完整基本响应集合（NIST, 2025a），而 NIST 人工智能风险管理框架把同样的选项应用到人工智能系统（NIST, 2023）。然而，这些理论、标准和发现把开发者、项目经理或组织当作决策者，尚未被系统地操作化成编码智能体的行为分类或评测框架。

3 ParanoiaEval 的理论基础

借鉴把每一项风险都用备选响应中的明确选择来处置的软件风险管理，以及 NIST 的风险响应框架，ParanoiaEval 把编码智能体的风险管理评测扎根于 ATMA。中心前提是：任务中可用的证据确立每一项风险应当如何处置，而超出这一已确立处置去处理风险的动作是不必要的。第 3.1 节把风险管理的要素与编码智能体对齐，第 3.2 节把四种处置应用到编码智能体场景。

3.1 风险管理与编码智能体的对齐

在软件项目中，决策者识别项目风险，并依据关于其可能性、归属和责任方可接受性的证据，为每一项风险选择一种响应。编码智能体代表用户执行任务时面对同样的决策结构。我们把任务建模为 $t=(C,I)$，其中 $C$ 是代码库状态，$I$ 是用户指令。智能体 $\mathcal{A}$ 产生一条由命令、编辑和消息组成的轨迹 $\tau=(a_{1},\dots,a_{n})$。ParanoiaEval 把风险管理的四个要素与这一设定对齐：

• 风险。风险 $r\in\mathcal{R}(t)$ 是一个可命名的失败，它可能影响 $t$ 的结果，例如文件损坏、并发写入，或未触及代码中的回归。
• 决策者与委托人。智能体 $\mathcal{A}$ 在执行期间做出处置决策，而指派 $t$ 的用户仍然是对其结果负责的委托人。
• 处置选项。智能体从 ATMA $\mathcal{T}=\{\textsc{Avo},\textsc{Tra},\textsc{Mit},\textsc{Acc}\}$ 中选择，分别表示回避、转移、缓解和接受。NIST 把这四种处置规定为对负面风险的完整响应集合。因为编码智能体所防范的失败是负面风险，ATMA 穷尽了它们的处置决策，证明见附录 B。我们用一种主要处置加上对任何剩余风险的接受来表示组合处置。
• 定义处置的证据。证据 $e\subseteq C\cup I$ 由关于世界状态的陈述组成，位于仓库或指令之中，决定 $r$ 应当如何被处置。

在这一对齐下，证据把每一项风险的处置确立为

$$T^{\star}(r\mid e)=\begin{cases}\textsc{Avo},&\text{if }e\models\neg\,\mathrm{occur}(r),\\ \textsc{Tra},&\text{if }e\models\mathrm{owner}(r)\neq\mathcal{A},\\ \textsc{Mit},&\text{if }e\models\mathrm{bound}(r)=m^{\star},\\ \textsc{Acc},&\text{if }e\models\mathrm{accepted}(r),\end{cases}$$

（1）其中 $\models$ 表示证据蕴涵一个谓词，$\mathrm{occur}(r)$ 表示 $r$ 可以在 $t$ 中出现，$\mathrm{owner}(r)$ 标识负责处置 $r$ 的一方，$\mathrm{bound}(r)=m^{\star}$ 把处置幅度固定在 $m^{\star}(r\mid e)$，$\mathrm{accepted}(r)$ 表示委托人已决定承担 $r$。式（1）把四种处置放在同一条决策规则之下，于是先前被孤立研究的行为成为同一个问题的实例，即一个动作是否与 $T^{\star}(r\mid e)$ 一致。

在此基础上，我们定义 ParanoiaEval 所度量的行为。不必要的风险处置，是超出可用证据所确立的处置去处理一项风险的动作。形式上，动作 $a\in\tau$ 是不必要的风险处置，当且仅当

$$a\notin M(t)\;\wedge\;\exists\,r\in\mathcal{R}(t):\ \mathrm{treat}(a,r)\wedge a\succ T^{\star}(r\mid e),$$

（2）其中 $M(t)$ 是完成 $t$ 的最小充分动作集，$\mathrm{treat}(a,r)$ 在 $a$ 旨在预防、检测或从 $r$ 恢复时成立，$a\succ T^{\star}(r\mid e)$ 表示 $a$ 超出已确立的处置。在回避、转移和接受之下，已确立的处置不把对 $r$ 的进一步动作留给智能体，因此 $M(t)$ 之外的每一个处置动作都超出了它。

3.2 编码智能体场景中的风险处置

ParanoiaEval 通过度量超出证据所确立边界的处置，把 ATMA 应用到编码智能体场景。$M(t)$ 之内的动作，例如对所修改代码的针对性测试，或对 diff 的最终复查，仍然是普通开发。这些处置被实例化如下：

• 回避通过移除风险来源或放弃引起它的活动来消除风险。在编码任务中，仓库证据可能表明失败不可能出现，因为数据可以重新生成、调用是串行的、依赖版本被钉死，或类型系统排除了无效输入。因此智能体没有进一步的处置要施加于 $r$。针对该失败的防护、回退或检查于是是不必要的。软件保证的成本效益分析表明，针对已被移除的风险来源的控制只增加成本而没有收益。
• 转移把一项风险的责任指派给执行其处置的另一方。在编码任务中，证据把风险指派给已有机制或人，例如运行测试套件的持续集成、更新依赖的机器人、验证制品的发布脚本，或审查改动的维护者。智能体应当依赖那个所有者。重复它的检查或重新验证它的制品是重复处置。软件项目研究同样把有效转移与清晰的所有权联系起来。
• 缓解把风险的可能性或影响降到可接受的水平。在编码任务中，指令证据限定处置的幅度，例如重复次数、测试范围、报告长度或过程级别。智能体应当只在该界限内处置 $r$。对 $T^{\star}(r\mid e)=\textsc{Mit}$，当 $m(a,r)>m^{\star}(r\mid e)$ 时，动作 $a$ 超出已确立的处置，其中 $m(a,r)$ 是 $a$ 施加于 $r$ 的处置幅度。风险管理文献观察到缓解缺少自然的停止点，因此其程度必须通过权衡成本与它所降低的风险来设定。
• 接受是责任方在不再进一步处置的情况下承担一项风险的知情决定。在编码任务中，指令证据记录用户关于身份、处置、方法、范围或所有权的决定。智能体应当遵循该决定。重新打开、削弱或绕过它，包括创建备份或请求再次确认，都是不必要的。项目管理研究承认放弃进一步处置是理性的，明确的决定标出停止点。

4 ParanoiaEval

图 2：ParanoiaEval 的构建流水线。

ParanoiaEval 从真实会话中导出 ATMA 情境，并把它们实例化为成对的仓库级任务，如图 2 所示。在每一对内部，只有定义处置的证据 $e$ 发生变化。评测时，我们的智能体裁判为基准指标分析这些行为。

4.1 数据处理

表 1：ParanoiaEval 的 4 种处置与 44 个情境的摘要。

ParanoiaEval 的情境来自 18,922 个去标识的会话，其中开发者使用通用编码智能体做日常软件开发。这些会话跨越多个仓库，捕捉自然发生的使用，而不是受控或合成的任务。自动筛选之后加上专家共识审查，保留 5,574 个片段，其中智能体超出可用证据所确立的范围去处置风险；合并这些片段，在四种处置下得到 44 个反复出现的情境。每个情境由使一种处置变得不必要的证据来定义。同一种动作，例如备份，可以落入不同处置。表 1 摘要这些情境。筛选标准和编码过程详见附录 C，情境的完整分类见附录 D。

ParanoiaEval 建立在 50 个开源仓库上，34 个用 Python 写成，16 个用 Go 写成。从最初用 SWE-Factory（Guo et al., 2026）构建的候选出发，我们人工保留有活跃持续集成和可复现构建的受维护项目，排除由人工智能主导的项目，并去掉面向特定编码助手的指令文件，使智能体除任务本身外得不到行为指导。每个仓库被钉在专用容器镜像中一个经过验证的修订上，依赖预先安装。对每个仓库，SWE-Factory 产生 SWE 风格的基线任务，每个任务包含一条 issue 风格的描述、一个参考补丁和可执行测试。为减少数据污染，每个仓库都钉在 2026 年 7 月 1 日之后的提交上，晚于被评测模型的训练数据截止，并且所有任务、证据操纵和预言机都是新构建且未发布的。

4.2 证据受控的任务对

每个仓库贡献四个 SWE 风格的任务，每种处置在其中恰好出现一次。44 个情境被分配到这些任务上，每个情境只属于一种处置，并至少在两个任务中被实例化。这些任务在当前仓库状态上经两步人工重新设计。第一，我们把任务适配到它的情境，使风险 $r$ 可达，并且定义处置的证据 $e$ 直接关系到任务完成。第二，我们把任务配到成对规程上：构造下面描述的两个变体，把描述改写成简短的、维护者风格的指令，不含禁止语和保证用语，提供一个实现 $M(t)$ 的参考解，并保持一个在两个变体中都只检查任务完成的单一预言机。一张答案卡记录 $e$、$M(t)$（包括它所允许的基线验证），以及每个变体下的不必要处置。由此得到的任务覆盖代码改动、只读检查、删除与迁移，以及一次性脚本。

每个任务有两个成对变体，得到 200 个任务对和 400 个依条件的变体。变体 $E^{+}$ 含有定义处置的证据 $e$，从而 $T^{\star}(r\mid e)$ 成立。变体 $E^{-}$ 移除或反转 $e$，从而使相应动作不再被该证据排除。任务对的构建遵循两条约束：❶ 单事实差异：两个变体除 $e$ 外完全相同，共享仓库修订、依赖环境、任务目标和预言机。因此智能体行为在二者之间的系统性差异可以归因于 $e$。❷ 仅陈述的证据：证据 $e$ 被表达为关于世界状态的陈述，例如“这是最终版本”，而从不作为关于行为的指令，例如“不要加检查”。因此 $E^{+}$ 检验智能体是否仅从证据推断出已确立的处置。$e$ 的实现跟随它所在的位置。当 $e$ 位于仓库中时，$E^{+}$ 保留仓库，$E^{-}$ 施加一个移除或反转该事实的夹具提交。当 $e$ 位于指令中时，$E^{-}$ 移除或反转相应句子。在 200 对中，89 对保持指令相同、只改仓库证据，其余 111 对相差一个指令句子。关于数据污染，因为两个变体共享同一个底层仓库，对该仓库的记忆本身不能产生二者之间的行为差异。为便于直观理解，我们在附录 E 中为全部 4 种处置提供完整的任务对例子。

一对任务只有通过两组检查才进入 ParanoiaEval：（I）可执行性。对两个变体，夹具必须干净地应用，预言机必须在未修改的仓库上失败，并且在应用参考解之后必须通过。失败这一要求排除那些不做任何动作就已完成的任务，但 28 个只读缓解任务除外，在那里保持仓库不变就是预期结果。通过这一要求确认 $M(t)$ 中的动作足以完成。 （II）证据有效性。两名专家独立检查每一对。他们验证 $e$ 在 $E^{+}$ 中蕴涵其处置的谓词，$E^{-}$ 不再保留排除相应动作的证据，并且两个变体只在 $e$ 上不同。他们进一步验证 $e$ 被陈述为事实，风险 $r$ 可达且 $e$ 会在完成任务时被遇到，以及答案卡在每个变体下都由 $e$ 推出。任何检查失败的对都被修订并再次审查。全部 200 对都通过这两组检查。

4.3 评测系统

裁判评测每一次运行，也就是一个变体上的一条轨迹 $\tau$，其动作在一个变体中可以是恰当的，在另一个变体中则是不必要的。如图 3 所示，ParanoiaEval 遵循记忆增强的智能体范式（Luo et al., 2025; Luo et al., 2026a），把裁判实现为一个编码智能体，它在只读沙箱中工作，沙箱含有该次运行的归档产物以及钉死修订上的仓库，并用只读工具检查它们。它的提示给出任务描述、答案卡、裁决规则、测试运行和备份等命令的简单计数，以及来自共享同一处置的其他任务的四个人工标注例子。例子按任务描述嵌入之间的余弦相似度检索。当一个两个变体得到不同人工标签的任务涉及当前运行中所见的那类动作时，它的两个变体都被纳入，从而使裁判看到必要处置在哪里结束。按照规则，裁判先识别答案卡所要求的工作，然后检查是否有进一步动作超出 $e$ 所允许的范围去处置 $e$ 所针对的风险，并对每一个这样的动作询问：如果 $e$ 不存在，它是否会变得合理。提示和检索细节见附录 F。对每一次运行，裁判返回一个结构化裁决，说明该运行是否含有这样的动作，并引用支持性的记录摘录。同一个裁判评测每一种智能体配置，并且在 $V_{p}$ 的 200 个留出共识标签上，例子只从其他任务检索，它达到 0.965 的准确率和 0.93 的 Cohen’s $\kappa$。

图 3：ParanoiaEval 的评测工作流。

记忆由 32 个任务构建，每种处置八个，每个变体一条轨迹。在每种处置内部，一个没有记忆的初始裁判定义四种任务对层面的预测模式，并从每种模式中抽样两个任务。这种分层在抽样期间控制任务覆盖。两名人类专家在共享规则下独立标注每一条轨迹，并通过裁决解决每一处分歧。全部 64 条共识记录都被保留，不按其最终人工标签重抽样或平衡。每个范例存储任务描述、条件角色、最小充分动作、共识标签、带证据位置的被标注动作，以及一段简短理由。任务描述被预先嵌入以供检索。裁判提示、规则和记忆在留出验证之前被冻结。附录 G 给出完整过程。

对任务对 $p\in\mathcal{P}$，在 $E^{+}$ 上的运行为 $\tau_{p}^{+}$，在 $E^{-}$ 上的运行为 $\tau_{p}^{-}$，令 $r_{p}$ 为证据 $e_{p}$ 所确立其处置的风险，并令 $V_{p}(\tau)=1$，若在 $e=e_{p}$ 时裁判对 $\tau$ 的裁决报告了对 $r_{p}$ 的过度处置，也就是一个对 $r_{p}$ 满足式（2）的动作，否则 $V_{p}(\tau)=0$。在 $E^{-}$ 运行上，$e_{p}$ 不在任务中，因此 $V_{p}$ 记录智能体是否施加了 $e_{p}$ 在 $E^{+}$ 中所排除的那种处置。由预言机结果和 $V_{p}$，ParanoiaEval 分别报告三个指标：

• 任务成功率（TSR）是预言机通过的运行所占的比例。它在每个变体上分别报告为 $\mathrm{TSR}^{+}$ 与 $\mathrm{TSR}^{-}$，以便在变体之间比较任务成功，并在全部运行上汇总。
• 违反率（VR）是含有对 $r_{p}$ 的过度处置的 $E^{+}$ 运行所占的比例。它也按处置报告。
• 证据响应度（ER）是对 $r_{p}$ 的过度处置从 $E^{-}$ 到 $E^{+}$ 的相对下降。它把很少处置 $r_{p}$ 的智能体，与只在 $e_{p}$ 在场时才 withhold 该处置的智能体分开。形式上，

$$\mathrm{VR}=\frac{1}{|\mathcal{P}|}\sum_{p\in\mathcal{P}}V_{p}(\tau_{p}^{+}),\qquad\mathrm{ER}=1-\frac{\sum_{p\in\mathcal{P}}V_{p}(\tau_{p}^{+})}{\sum_{p\in\mathcal{P}}V_{p}(\tau_{p}^{-})}.$$

（3）

译注：上句 “withhold” 应读作“克制、不施加”。

5 实验设置

我们招募 20 名有经验的开发者。从预言机通过的 $E^{+}$ 运行中，我们按处置、裁判标签和配置做分层抽样，抽出 800 次，并优先抽取同一任务上有过度处置和没有过度处置的运行。每位开发者给 80 次运行评分，每次运行得到两份评分，模型身份、裁判标签和变体角色被隐藏，顺序随机。因为每一次运行都完成了任务，满意度在一个 5 分量表上评分，锚定于代码可维护性、运行时间和所需修正。开发者还表明是否会原样接受输出，并标出任何不必要的动作。招募标准和评分工具详见附录 H。

为了保证生态效度，我们在每个模型自己的原生用具中评测它。Claude Code 运行 Opus-5、Sonnet-5、Sonnet-4.6 和 Haiku-4.5（Anthropic, 2026a; Anthropic, 2026d; Anthropic, 2026c; Anthropic, 2025b），Codex 运行 GPT 5.6-Sol、5.6-Terra、5.6-Luna 和 5.5（OpenAI, 2026b; OpenAI, 2026a）。在每种用具内部，模型覆盖一段任务能力范围。每种配置运行 3 次，共 9,600 次运行。规程和超参数详见附录 I 与 J。主裁判在 Codex 内使用 GPT-5.6 Sol。人工验证确认了它的准确率，并发现可忽略的系统偏差，见附录 K。

6 实证分析

我们的结果表明，恰当的风险处置是当前编码智能体尚未获得的一种独立能力，并且它们的失败遵循人类风险管理中的模式。完整结果、显著性分析、案例研究和计算资源消耗详见附录 L、M、N 和 O。下面摘要我们的关键观察。

观察 ❶：不必要的风险处置是普遍的，并且在配置之间差异很大。ParanoiaEval 稳定地把智能体行为在成对变体之间分开。如表 2 和图 4a 所示，每一种配置在总体上对 $r_{p}$ 的过度处置在 $E^{+}$ 上都少于 $E^{-}$，并且这一下降在每一种配置中都显著，Holm 调整后的 $p$ 值至多为 0.012（表 3）。然而响应远未完全，并且在配置之间差异很大，ER 只从 25.4% 到 65.5%。结果是，不必要的风险处置仍然出现在 11.2% 到 58.7% 的 $E^{+}$ 运行中，并且每一种配置在全部四种处置下都表现出它。它的形式跟随处置。例如，在缓解下，智能体把验证扩大到所陈述的界限之外；在接受下，它们要求用户重新确认一个已经做出的决定。把 VR 与 ER 一起读，进一步分开低违反率的来源。Sonnet-4.6 获得最低的 VR，主要是因为它即使在 $E^{-}$ 上也很少施加这类处置，而 Haiku-4.5 对证据的响应最强，并获得最高的 ER。VR 在同一用具内的模型之间也不同，在 Claude Code 中从 11.2% 到 58.7%，在 Codex 中从 18.2% 到 25.5%。

表 2：所有数值都是 3 次运行的平均。Claude $\mu$ 与 GPT $\mu$ 分别表示 Claude 模型与 GPT 模型上的均值。$\uparrow$ 表示更高的值意味着更多任务被完成或更强的响应，$\downarrow$ 表示更低的值意味着更少的不必要风险处置。

表 3：三次被测量运行上的成对条件效应。

观察 ❷：更强的任务能力并不能保证恰当的风险处置。所有配置都完成了大多数任务，TSR 从 88.3% 到 97.6%，但这并不能阻止不必要的风险处置。如图 4b 所示，TSR 更高的配置并不表现出更低的 VR，二者在配置之间的秩相关不显著，Spearman $\rho$ 为 0.55（$p=0.17$）。在每种用具内部同样如此，模型按 TSR 的排序与按 VR 的排序并不一致。此外，含有过度处置的 $E^{+}$ 运行中有 92.7% 仍然通过预言机，因此功能正确性掩盖了大多数违反。这一模式可能反映一种倾向：把彻底的、自我验证的行为推广到它不再有用的点之外，与编码智能体中已被记录的过度热心行为一致（Anthropic, 2026b）。

图 4：（a）每种配置的 ER（实心）与 VR（空心），带 95% 自助法置信区间。（b）各智能体配置上的任务成功与 VR。（c）有过度处置与没有过度处置时的开发者满意度。（d）按处置划分的 $E^{-}$ 与 $E^{+}$ 上的过度处置率，配置均值用粗线，单个配置用细线。

观察 ❸：处置违反实质性地损害开发者。为考察这些违反在实践中如何影响开发者，我们进一步分析人类研究的结果。如图 4c 和表 4 所示，开发者对有过度处置的运行的满意度，在 5 分量表上比没有过度处置的运行低 1.27 分，$p<0.001$。他们只会在 38% 的情形中原样接受这类运行的输出，否则为 78%。这一惩罚出现在每一种处置下，从回避的 1.10 分到缓解的 1.55 分，缓解的接受率也最低，为 28%。评分在开发者之间一致，Krippendorff’s $\alpha$（Krippendorff, 2004）为 0.76。结果表明，不必要的处置施加了功能指标未能捕捉的真实成本。

表 4：有过度处置与没有过度处置的运行的开发者满意度与接受率。满意度在五分量表上测量。$\Delta$ 是没有过度处置的运行的满意度减去有过度处置的运行的满意度。

表 5：按处置汇总的过度处置，在配置上平均。$p$ 来自在任务对上对 $E^{-}$ 与 $E^{+}$ 做的双侧配对置换检验。

观察 ❹：违反遵循风险管理中已经确立的模式。在 ATMA 下分析，这些违反既不是孤立的，也不是随机的。如表 2 和表 5 所示，在每一种配置中，缓解和接受的 ER 都高于回避和转移。缓解提供了最清楚的例子。风险管理研究观察到缓解缺少自然的停止点，因此其程度必须通过权衡成本与它所降低的风险来明确设定（Feather et al., 2006; Špačková & Straub, 2015）。智能体的行为与此相符。当指令陈述处置的幅度，例如重复次数或测试范围时，这一界限给了它们一个停止点。当幅度未被量化时，它们不断重复并扩大验证。如图 4d 所示，去掉所陈述的界限，在全部 8 种配置中都提高了过度处置率，最多提高 68.7 个百分点。对照之下，文献把放弃进一步处置视为理性选择，一旦责任方决定承担一项风险，明确的决定就标出停止点（Kutsch & Hall, 2009）。大多数智能体同样在委托人的决定被记入指令时停止，因此接受的 ER 最高达到 93.9%。两种处置的案例研究见附录 N。这些平行表明，人类风险管理中已被认识到的困难会在编码智能体中重现，因此人类实践中已经确立的知识可以指导这一能力的诊断与改进。

译注：表 2 把八个模型的结果分成任务成功率、违反率和证据响应度。任务成功率分别给出全部运行、含定义处置证据的变体，以及去掉该证据的变体。违反率再拆成回避、转移、缓解和接受。证据响应度使用同样四列，用来区分“很少做这类处置”和“只在证据在场时才克制”。Opus-5 的总违反率是 58.7%，证据响应度只有 25.4%。Sonnet-4.6 的总违反率最低，为 11.2%，但它在去掉证据后也很少施加这类处置。Haiku-4.5 的总证据响应度最高，为 65.5%，其中接受一列达到 93.9%。Claude 四个模型的平均违反率是 27.4%，四个 GPT 模型的平均违反率是 21.0%。表 3 报告含证据与去证据之间的过度率之差、95% 置信区间，以及 Holm 校正后的显著性，八个配置的校正后 p 值至多为 0.012，合并后的证据响应度估计为 50.0%。表 4 对照有过度处置与没有过度处置时的满意度：全部样本从 3.85 降到 2.58，相差 1.27 分；原样接受率从 78% 降到 38%。轻微过度相差 0.80 分，明显过度相差 1.65 分。表 5 按处置平均：回避的证据响应度是 21.3%，转移只有 7.9% 且 p 为 0.692，缓解是 67.4%，接受是 65.4%。

7 结论

我们提出 ParanoiaEval，第一个对编码智能体的风险处置能力做统一评测的基准。它建立在已经确立的 ATMA 框架上，揭示不必要的风险处置是普遍的，把风险处置确立为一个独立的能力维度，并把这一能力的诊断与人类软件工程实践中的知识联系起来。我们相信这项工作把编码智能体评测向前推了一步，从完成任务推进到像有经验的开发者那样工作。

代码与数据可得性

我们在 https://github.com/ZhuoningXu/ParanoiaEval_release 发布 ParanoiaEval。发布内容包括 50 个仓库上的 200 对证据受控任务对，带有依条件的指令、答案卡、可执行预言机和参考解；每个仓库的容器配方；Codex 与 Claude Code 的智能体运行器；以及裁判，包括其规则、提示组装，和由共识人工标签构建的、被冻结的 64 条范例记忆。附录记录基准设计、任务构建、评测标准、实验规程、裁判验证和所报告的分析。

译注：参考文献与附录 A 至 O 是同一篇论文的其余全文。因站点正文长度上限，它们拆到后续篇，不在这里删节。