CodexQA

Industry & PracticeResearch & Benchmarks

ParanoiaEval 续:参考文献

CodexQA 团队14 min read

本篇是 ParanoiaEval 的参考文献全文,共 63 条。人名、链接和基准名保留原文,题名与出处译成中文,并注明每条文献在论证中的作用。

参考文献

  • Alberts et al. (1996) Christopher J. Alberts,Audrey J. Dorofee,Ron Higuera,Richard L. Murphy,Julie A. Walker,and Ray C. Williams。《持续风险管理指南》。软件工程研究所,1996。网址 https://www.sei.cmu.edu/library/continuous-risk-management-guidebook/。作用:给出贯穿软件项目生命周期的风险识别、分析、排序与控制手册,正文用它说明风险管理早已是系统实践,而不是临时增加控制。
  • Anthropic (2025a) Anthropic。Claude Code。https://code.claude.com/docs,2025a。访问日期 2026-09-16。作用:标明被评测的原生编码用具之一,并支撑引言里编码智能体已进入真实仓库工作的判断。
  • Anthropic (2025b) Anthropic。《系统卡:Claude Haiku 4.5》。https://www.anthropic.com/system-cards,2025b。2025 年 10 月。访问日期 2026-09-24。作用:为 Claude Code 中的 Haiku-4.5 配置提供模型身份与发布时间。
  • Anthropic (2026a) Anthropic。《系统卡:Claude Opus 5》。https://www.anthropic.com/system-cards,2026a。2026 年 7 月。访问日期 2026-09-24。作用:为违反率最高的 Opus-5 配置提供官方模型说明。
  • Anthropic (2026b) Anthropic。提示最佳实践。Claude 平台文档,https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices,2026b。“过度热心”一节。访问日期 2026-09-16。作用:把观察到的过度验证与厂商已经记录的过度热心行为对齐。
  • Anthropic (2026c) Anthropic。《系统卡:Claude Sonnet 4.6》。https://www.anthropic.com/system-cards,2026c。2026 年 2 月。访问日期 2026-09-24。作用:对应总违反率最低的 Sonnet-4.6 配置。
  • Anthropic (2026d) Anthropic。《系统卡:Claude Sonnet 5》。https://www.anthropic.com/system-cards,2026d。2026 年 6 月。访问日期 2026-09-24。作用:对应 Claude Code 中的 Sonnet-5 配置。
  • Bannerman (2008) Paul L. Bannerman。《软件项目中的风险与风险管理:一次再评估》。《系统与软件杂志》,81(12):2118–2133,2008。doi: 10.1016/j.jss.2008.03.059。作用:说明成熟的软件工程研究已经用统一框架组织表面上不同的风险处置。
  • Barki et al. (2001) Henri Barki,Suzanne Rivard,and Jean-Noël Talbot。《软件项目风险管理的整合权变模型》。《管理信息系统杂志》,17(4):37–69,2001。doi: 10.1080/07421222.2001.11045666。作用:表明风险处置还依赖目标一致、团队协调和周围组织语境。
  • Bhoola et al. (2014) Vanita Bhoola,S. B. Hiremath,and Debasis Mallik。《对软件项目中所实践的风险响应策略的评估》。《澳大拉西亚信息系统杂志》,18(3),2014。doi: 10.3127/ajis.v18i3.923。作用:用项目经理数据把回避、转移、缓解和接受操作化,并考察它们与范围、质量、进度和成本的关系。
  • Boehm (1991) Barry W. Boehm。《软件风险管理:原则与实践》。《IEEE 软件》,8(1):32–41,1991。doi: 10.1109/52.62930。作用:早期软件风险管理的经典表述,强调风险控制贯穿项目,而不是只在失败后补救。
  • Bui & Evangelopoulos (2026) Nghi D. Q. Bui and Georgios Evangelopoulos。《智能体编码需要主动性,而不只是自主性》,2026。网址 https://arxiv.org/abs/2605.06717。作用:主张未经请求的智能体行为必须向用户提供价值,用来支持把多余防御看成一类实践问题。
  • Deng et al. (2025) Xiang Deng,Jeff Da,Edwin Pan,Yannis Yiming He,Charles Ide,Kanak Garg,Niklas Lauffer,Andrew Park,Nitin Pasari,Chetan Rane,Karmini Sampath,Maya Krishnan,Srivatsa Kundurthy,Sean Hendryx,Zifan Wang,Vijay Bharadwaj,Jeff Holm,Raja Aluri,Chen Bo Calvin Zhang,Noah Jacobson,Bing Liu,and Brad Kenstler。《SWE-Bench Pro:人工智能智能体能解决长程软件工程任务吗?》,2025。网址 https://arxiv.org/abs/2509.16941。作用:代表仍以功能正确性为中心的主流编码智能体评测。
  • Fairley (1994) Richard Fairley。《软件项目的风险管理》。《IEEE 软件》,11(3):57–67,1994。doi: 10.1109/52.281716。作用:把风险识别与控制写成可执行的项目管理实践。
  • Fan et al. (2008) Miao Fan,Neng-Pai Lin,and Chwen Sheu。《选择项目风险处理策略:一个分析模型》。《国际生产经济学杂志》,112(2):700–713,2008。doi: 10.1016/j.ijpe.2007.06.006。作用:把风险响应选择建模为备选策略上的明确决策,附录 B 用它支持处置空间的完备划分。
  • Feather et al. (2001) Martin S. Feather,Burton Sigal,Steven L. Cornford,and Patrick Hutchinson。《把成本效益分析纳入软件保证规划》。见《第 26 届 NASA 戈达德年度软件工程研讨会论文集》,第 62–68 页,2001。doi: 10.1109/SEW.2001.992656。作用:说明针对已被移除的风险来源继续加控制,只增加成本而没有收益。
  • Feather et al. (2006) Martin S. Feather,Steven L. Cornford,James D. Kiper,and Tim Menzies。《用可视化技术呈现需求、对需求的风险以及风险缓解选项的经验》。见《第一届需求工程可视化国际研讨会论文集》,2006。doi: 10.1109/REV.2006.2。作用:指出缓解缺少自然停止点,因此幅度必须由成本与所降低风险的权衡来设定。
  • Freimut et al. (2001) Bernd Freimut,Susanne Hartkopf,Peter Kaiser,Jyrki Kontio,and Werner Kobitzsch。《实施软件风险管理的工业案例研究》。见《第 8 届欧洲软件工程会议暨第 9 届 ACM SIGSOFT 软件工程基础国际研讨会论文集》,2001。doi: 10.1145/503209.503247。作用:表明真实项目中的风险处置是依语境选择,而不是一律增加控制。
  • Gallagher et al. (1997) Brian P. Gallagher,Christopher J. Alberts,and Richard E. Barbour。《软件采办风险管理关键过程域指南》。技术报告 CMU/SEI-97-HB-002,卡内基梅隆大学软件工程研究所,1997。网址 https://resources.sei.cmu.edu/asset_files/Handbook/1997_002_001_16526.pdf。作用:把风险处理描述成分阶段决策,附录 B 的完备性推导从这里出发。
  • Gloaguen et al. (2026) Thibaud Gloaguen,Niels Mündler,Mark Müller,Veselin Raychev,and Martin Vechev。《编码智能体不知道何时该行动》,2026。网址 https://arxiv.org/abs/2605.07769。作用:FixedBench 把修改已经正确的代码刻画为行动偏差,是本文所统一的相邻行为之一。
  • Guo et al. (2026) Lianghong Guo,Yanlin Wang,Caihua Li,Wei Tao,Pengyu Yang,Jiachi Chen,Haoyu Song,Duyu Tang,and Zibin Zheng。《SWE-Factory:用于问题修复训练数据与评测基准的自动化工厂》,2026。网址 https://arxiv.org/abs/2506.10954。将发表于第 34 届 ACM 欧洲软件工程会议暨软件工程基础研讨会(FSE 2026)。作用:ParanoiaEval 的候选仓库级任务由它生成,再经人工改造成证据受控任务对。
  • Hu et al. (2026) Minyang Hu,Bo Yang,Zhinuo Zhou,Jiachen Liang,Jiahao Guo,Yiyang Yin,and Xiongwei Han。《冗余还是必要?检测智能体轨迹中冗余步骤的基准》,2026。网址 https://arxiv.org/abs/2605.29893。作用:把对任务完成贡献很少的步骤标为冗余,与不必要风险处置共享“证据已否定该动作后仍继续”的机制。
  • Huang et al. (2025) Ruanqianqian Huang,Avery Reyna,Sorin Lerner,Haijun Xia,and Brian Hempel。《职业软件开发者不靠感觉,他们要控制:2025 年用于编码的人工智能智能体使用》,2025。网址 https://arxiv.org/abs/2512.14012。作用:描述智能体在真实工作中如何探索、验证并处理不确定性。
  • Jimenez et al. (2024) Carlos E. Jimenez,John Yang,Alexander Wettig,Shunyu Yao,Kexin Pei,Ofir Press,and Karthik Narasimhan。《SWE-bench:语言模型能解决真实世界的 GitHub 问题吗?》。见《第十二届学习表征国际会议(ICLR)》,2024。网址 https://openreview.net/forum?id=VTF8yNQM66。作用:功能正确性评测的代表,本文指出这类基准不衡量风险处置是否有根据。
  • Jin et al. (2024) Haolin Jin,Linghan Huang,Haipeng Cai,Jun Yan,Bo Li,and Huaming Chen。《从大语言模型到基于大语言模型的软件工程智能体:现状、挑战与未来综述》,2024。网址 https://arxiv.org/abs/2408.02479。作用:说明术语和任务语境的分裂,使不同行为难以放进同一个能力维度。
  • Joint Task Force Transformation Initiative (2011) 联合任务组转型倡议。《管理信息安全风险:组织、使命与信息系统视角》。技术报告 NIST 特别出版物 800-39,美国国家标准与技术研究院,2011。作用:把接受、回避、缓解、分担和转移区分为基本风险响应,是 ATMA 的制度前身。
  • Kapoor et al. (2025) Sayash Kapoor,Benedikt Stroebl,Zachary S. Siegel,Nitya Nadgir,and Arvind Narayanan。《要紧的人工智能智能体》。《机器学习研究汇刊》,2025。网址 https://openreview.net/forum?id=Zy4uFzMviZ。作用:批评缺少共同判断标准时,智能体评测结果难以比较。
  • Karpathy (2025) Andrej Karpathy。我不知道实验室在强化学习里对这些可怜的大语言模型做了什么,但它们对异常怕得要死。X 上的帖子,https://x.com/karpathy/status/1976077806443569355,2025 年 10 月。发布于 2025-10-09;访问日期 2026-09-16。作用:作为实践观察,说明模型会把防御扩大到不再有用的地方。
  • Koshchenko et al. (2026) Ekaterina Koshchenko,Jovana Stankovic,Ilya Zakharov,and Agnia Sergeyuk。《可配置的人工智能编码助手:为喜欢掌控的开发者而设计》。见《第 34 届 ACM 欧洲软件工程会议暨软件工程基础研讨会配套论文集》,2026。doi: 10.1145/3803437.3806709。网址 https://arxiv.org/abs/2607.09215。作用:开发者明确不喜欢含有过多编辑和未被请求之改动的轨迹。
  • Krippendorff (2004) Klaus Krippendorff。《内容分析中的信度:一些常见误解与建议》。《人类传播研究》,30(3):411–433,2004。doi: 10.1111/j.1468-2958.2004.tb00738.x。作用:人类研究用 Krippendorff’s α 衡量 20 名开发者评分的一致性,得到 0.76。
  • Kutsch & Hall (2009) Elmar Kutsch and Mark Hall。《在信息技术项目中不应用项目风险管理的理性选择》。《项目管理杂志》,40(3):72–81,2009。doi: 10.1002/pmj.20112。作用:把放弃进一步处置视为理性选择,明确决定就是停止点,对应接受这一处置。
  • Liang et al. (2024) Jenny T. Liang,Chenyang Yang,and Brad A. Myers。《关于人工智能编程助手可用性的大规模调查:成功与挑战》。见《IEEE/ACM 第 46 届软件工程国际会议论文集》,第 1–13 页,2024。doi: 10.1145/3597503.3608128。作用:用户研究要求防御行为与实际风险相称,而不是越谨慎越好。
  • Liu et al. (2024) Junwei Liu,Kaixin Wang,Yixuan Chen,Xin Peng,Zhenpeng Chen,Lingming Zhang,and Yiling Lou。《用于软件工程的基于大语言模型的智能体:综述》,2024。网址 https://arxiv.org/abs/2409.02977。已被《ACM 软件工程与方法学汇刊》接收。作用:综述里不同分类并置,说明缺少共享理论基础。
  • Luo et al. (2024a) Hanjun Luo,Ziye Deng,Ruizhe Chen,and Zuozhu Liu。FAIntbench:用于文生图模型偏见评测的整体而精确的基准。arXiv 预印本 arXiv:2405.17814,2024a。网址 https://arxiv.org/abs/2405.17814。作用:附录 K 用它代表“以人类判断校验自动评测器”的既有做法。
  • Luo et al. (2024b) Hanjun Luo,Haoyu Huang,Ziye Deng,Xinfeng Li,Hewei Wang,Yingbin Jin,Yang Liu,Wenyuan Xu,and Zuozhu Liu。BIGbench:评测文生图模型中多维社会偏见的统一基准。arXiv 预印本 arXiv:2407.15240,2024b。网址 https://arxiv.org/abs/2407.15240。作用:同样作为自动评测器对照人类判断的先例。
  • Luo et al. (2025) Hanjun Luo,Shenyu Dai,Chiming Ni,Xinfeng Li,Guibin Zhang,Kun Wang,Tongliang Liu,and Hanan Salam。AgentAuditor:对大语言模型智能体做人类水平的安全评测。arXiv 预印本 arXiv:2506.00641,2025。网址 https://arxiv.org/abs/2506.00641。作用:记忆增强评测范式的来源,裁判用检索到的人工范例校准决策边界。
  • Luo et al. (2026a) Hanjun Luo,Zhimu Huang,Sylvia Chung,Yiran Wang,Yingbin Jin,Jialin Li,Jiang Li,Xinfeng Li,and Hanan Salam。AtelierEval:把人与大语言模型作为文生图提示者的智能体式评测。arXiv 预印本 arXiv:2605.22645,2026a。网址 https://arxiv.org/abs/2605.22645。作用:同一记忆增强范式的后续实例。
  • Luo et al. (2026b) Hanjun Luo,Zhimu Huang,Haoyu Huang,Ziye Deng,Ruizhe Chen,Xinfeng Li,Zuozhu Liu,and Hanan Salam。BiasIG:对文生图模型中多维社会偏见做基准评测。arXiv 预印本 arXiv:2604.11934,2026b。网址 https://arxiv.org/abs/2604.11934。作用:附录 K 引用的人类校验先例之一。
  • Luo et al. (2026c) Hanjun Luo,Qiushi Liu,Jingya Zhang,Haihong Pang,Jiaheng Wen,Yifei Ma,Yu Yao,Chengxi Zhang,Hanrong Zhang,Yankai Chen,and Hanan Salam。AutoCRAT:在轨迹内部联合控制大语言模型推理的随机性与计算量。arXiv 预印本 arXiv:2608.29988,2026c。网址 https://arxiv.org/abs/2608.29988。作用:说明解码随机性与推理计算共同塑造推理行为,因此实验不能单独改温度。
  • Luo et al. (2026d) Hanjun Luo,Chiming Ni,Jiaheng Wen,Zhimu Huang,Yiran Wang,Bingduo Liao,Sylvia Chung,Yingbin Jin,Xinfeng Li,Wenyuan Xu,XiaoFeng Wang,and Hanan Salam。CentaurEval:对智能体编码中人在回路价值做基准评测。arXiv 预印本 arXiv:2512.04111,2026d。网址 https://arxiv.org/abs/2512.04111。作用:引言中功能正确性评测谱系的一篇,也是同一研究组的前序工作。
  • López & Salmeron (2012) Cristina López and Jose L. Salmeron。《支持从业者在软件项目中做决策的风险响应策略》。《Procedia Technology》,5:437–444,2012。doi: 10.1016/j.protcy.2012.09.048。作用:围绕从业者的明确响应选择来组织风险。
  • Madiraju & Madiraju (2026) Meher Bhaskar Madiraju and Meher Sai Preetam Madiraju。RigorBench:对自主人工智能编码智能体的工程过程纪律做基准评测,2026。网址 https://arxiv.org/abs/2606.22678。作用:在过程纪律下评估规划、验证、恢复和弃权。
  • Mehtiyev & Assunção (2026) Tural Mehtiyev and Wesley Assunção。《超出解决率:编码智能体成功与失败的行为驱动因素》,2026。网址 https://arxiv.org/abs/2604.02547。作用:开始在特定语境中判断某一种风险处置是否越出任务边界。
  • Merrill et al. (2026) Mike A. Merrill,Alexander G. Shaw,Nicholas Carlini,Boxuan Li,Harsh Raj,et al。Terminal-Bench:在命令行界面中对困难、真实任务上的智能体做基准评测,2026。网址 https://arxiv.org/abs/2601.11868。作用:又一个以任务完成为中心的编码智能体基准。
  • Moeini & Rivard (2019) Mohammad Moeini and Suzanne Rivard。《对信息技术项目风险作出响应,或不作出响应:一个整合模型》。《MIS Quarterly》,43(2):475–500,2019。网址 https://aisel.aisnet.org/misq/vol43/iss2/8/。作用:把恰当的风险处置定义为可靠执行的必要组成部分,包括有根据地不继续处理。
  • Nanda et al. (2026) Rahul Nanda,Chandra Maddila,Smriti Jha,Euna Mehnaz Khan,Matteo Paltenghi,and Satish Chandra。Wink:从编码智能体的不当行为中恢复,2026。网址 https://arxiv.org/abs/2602.17037。作用:描述证据、授权或任务状态已经否定某个动作之后,智能体仍然发起或坚持该动作。
  • Nussbaum et al. (2024) Zach Nussbaum,John X. Morris,Brandon Duderstadt,and Andriy Mulyar。Nomic Embed:训练一个可复现的长上下文文本嵌入器。arXiv 预印本 arXiv:2402.01613,2024。网址 https://arxiv.org/abs/2402.01613。作用:裁判检索范例时使用的 nomic-embed-text-v1.5 编码器来源。
  • OpenAI (2026a) OpenAI。《GPT-5.5 系统卡》。OpenAI 部署安全中心,https://deploymentsafety.openai.com/gpt-5-5,2026a。访问日期 2026-09-24。作用:对应 Codex 中的 GPT-5.5 配置。
  • OpenAI (2026b) OpenAI。《GPT-5.6 系统卡》。OpenAI 部署安全中心,https://deploymentsafety.openai.com/gpt-5-6,2026b。访问日期 2026-09-23。作用:对应 5.6-Sol、Terra 与 Luna,并被引言用来指出额外防御会干扰任务。
  • Oukhay et al. (2026) Issam Oukhay,Mahi Begoug,Moataz Chouchen,and Ali Ouni。《当人工智能代码留不下来:对人工智能编码智能体所引入、随后被回退的改动的实证研究》。见《第 23 届挖掘软件仓库国际会议论文集》,第 847–851 页,2026。doi: 10.1145/3793302.3793587。作用:过度工程是回退智能体所写代码的首要原因。
  • Qu et al. (2026a) Yubin Qu,Yi Liu,Gelei Deng,Yanjun Zhang,Yuekang Li,Ying Zhang,and Leo Yu Zhang。SNARE:用于引出编码智能体过度热心行为的自适应场景合成,2026a。网址 https://arxiv.org/abs/2605.28122。作用:考察同意线索和智能体框架如何影响超出授权的动作。
  • Qu et al. (2026b) Yubin Qu,Ying Zhang,Yanjun Zhang,Gelei Deng,Yuekang Li,Leo Yu Zhang,and Yi Liu。《过度热心的编码智能体:在良性任务上度量超出范围的动作》,2026b。网址 https://arxiv.org/abs/2605.18583。作用:把超出良性任务授权的动作定义为过度热心行为。
  • Quinn et al. (2025a) Stephen Quinn,Julie Chua,Nahla Ivy,Robert Gardner,Karen Kent,Matthew Smith,and Gregory Witte。《整合网络安全与企业风险管理》。技术报告 NIST IR 8286 Rev. 1,美国国家标准与技术研究院,2025a。网址 https://nvlpubs.nist.gov/nistpubs/ir/2025/NIST.IR.8286r1.pdf。作用:最新文本把分担并入转移,保留接受、转移、缓解和回避。
  • Quinn et al. (2025b) Stephen Quinn,Nahla Ivy,Matthew Barrett,Greg Witte,and R. K. Gardner。《为企业风险管理排列网络安全风险的优先级》。技术报告 NIST IR 8286B-upd1,美国国家标准与技术研究院,2025b。作用:附录 B 的图 5 直接复制其中的风险响应流程。
  • Schmidt et al. (2001) Roy Schmidt,Kalle Lyytinen,Mark Keil,and Paul Cule。《识别软件项目风险:一项国际德尔菲研究》。《管理信息系统杂志》,17(4):5–36,2001。doi: 10.1080/07421222.2001.11045662。作用:风险决策依赖周围组织语境的以人为中心的证据。
  • Singh (2024) Nimisha Singh。《用社会技术系统方法做软件开发项目中目标驱动风险管理的框架》。《FIIB 商业评论》,13(4):437–451,2024。doi: 10.1177/23197145211032412。作用:说明处置决策还依赖于目标一致与团队协调。
  • Stack Overflow (2025) Stack Overflow。《2025 年开发者调查:人工智能》。https://survey.stackoverflow.co/2025/ai,2025。访问日期 2026-09-16。作用:大规模用户研究,要求可靠智能体使防御与实际风险相称。
  • Tabassi (2023) Elham Tabassi。《人工智能风险管理框架(AI RMF 1.0)》。技术报告 NIST AI 100-1,美国国家标准与技术研究院,2023。作用:把同样的接受、转移、缓解和回避选项应用到人工智能系统。
  • Tang et al. (2026) Ningzhi Tang,Chaoran Chen,Zihan Fang,Gelei Xu,Maria Dhakal,Yiyu Shi,Collin McMillan,Yu Huang,and Toby Jia-Jun Li。《用聊天编程:对 11,579 次真实世界人工智能辅助集成开发环境会话的大规模行为分析》。见《第 41 届 IEEE/ACM 自动化软件工程国际会议论文集》,2026。doi: 10.1145/3832783.3834377。网址 https://arxiv.org/abs/2604.00436。作用:说明编码智能体已经从局部补全变成多步仓库工作。
  • Taylor (2006) Hazel Taylor。《信息技术项目的风险管理与问题化解策略:处方与实践》。《项目管理杂志》,37(5):49–63,2006。doi: 10.1177/875697280603700506。作用:对有经验项目经理的访谈,表明处置要权衡成本、责任和约束。
  • Xu et al. (2026) Zhuoning Xu,Xiucheng Zhang,Hanjun Luo,Yingbin Jin,Yinpeng Dong,and Hanan Salam。MasDrift:跨多智能体架构对授权保持做基准评测。arXiv 预印本 arXiv:2608.07556,2026。网址 https://arxiv.org/abs/2608.07556。作用:考察授权如何在多智能体结构中漂移,属于过度热心行为这条研究线。
  • Zhu et al. (2026) Tongyao Zhu,Wei Hern Lim,and Min-Yen Kan。《当模型改得太多:论最小代码编辑的保真度》,2026。网址 https://arxiv.org/abs/2609.04061。将发表于 EMNLP 2026 主会。作用:把超出最小修复的重写描述为过度编辑。
  • Špačková & Straub (2015) Olga Špačková and Daniel Straub。《预算约束下风险防护优化的成本效益分析》。《风险分析》,35(5):941–959,2015。doi: 10.1111/risa.12310。作用:与 Feather 等人一起,要求缓解的程度由成本与风险降低来明确设定。

译注:以上 63 条与原文参考文献逐条对应。人名、年份、基准名、arxiv 号、doi 和网址保留原文;书名、论文题名、期刊名、会议名和技术报告名译成中文。每条末尾的“作用”说明该文献在 ParanoiaEval 论证中的位置,避免只留英文题名而无法核对。

Found it useful? Pass it on

WeChat

Scan with WeChat to open it on your phone and forward it.

Subscribe via RSS

Submit a correction