TestJack 续：参考文献与方法附录

译注：这是《TestJack：你该相信编码基准里的结果吗？》的全文续篇，接正文之后，含参考文献与附录 A、附录 B。

参考文献

• [1] T. Ahmed, J. Ganhotra, R. Pan, A. Shinnar, S. Sinha, and M. Hirzel (2025) Otter: generating tests from issues to validate SWE patches. External Links: 2502.05368, Link Cited by: §2.

完整条目，题名与出处已译：Otter，从 issue 生成测试以验证 SWE 补丁。外部链接为 arXiv:2502.05368。引用位置为第 2 节。这条工作讨论由问题描述自动产生可执行测试。

• [2] R. Aleithan, H. Xue, M. M. Mohajer, E. Nnorom, G. Uddin, and S. Wang (2024) SWE-Bench+: enhanced coding benchmark for LLMs. External Links: 2410.06992, Link Cited by: §1, §2.

完整条目，题名与出处已译：SWE-Bench+，面向大语言模型的增强编码基准。外部链接为 arXiv:2410.06992。引用位置为第 1 节与第 2 节。这条工作指出薄弱测试和解答泄漏会抬高解决率。

• [3] J. Austin, A. Odena, M. Nye, M. Bosma, H. Michalewski, D. Dohan, E. Jiang, C. Cai, M. Terry, Q. Le, and C. Sutton (2021) Program synthesis with large language models. External Links: 2108.07732, Link Cited by: §1, §2.

完整条目，题名与出处已译：用大语言模型做程序合成。外部链接为 arXiv:2108.07732。引用位置为第 1 节与第 2 节。这条工作对应函数级合成基准 MBPP。

• [4] I. Badertdinov, A. Golubev, M. Nekrashevich, A. Shevtsov, S. Karasik, A. Andriushchenko, M. Trofimova, D. Litvintseva, and B. Yangel (2025) SWE-rebench: an automated pipeline for task collection and decontaminated evaluation of software engineering agents. External Links: 2505.20411, Link Cited by: §2.

完整条目，题名与出处已译：SWE-rebench，面向软件工程智能体的任务收集与去污染评测的自动化流水线。外部链接为 arXiv:2505.20411。引用位置为第 2 节。

• [5] J. Cao, Y. Chan, Z. Ling, W. Wang, S. Li, M. Liu, R. Qiao, Y. Han, C. Wang, B. Yu, P. He, S. Wang, Z. Zheng, M. R. Lyu, and S. Cheung (2026) Code benchmarks should prioritize rigor, reliability, and reproducibility. External Links: 2501.10711, Link Cited by: §1.

完整条目，题名与出处已译：代码基准应当把严谨、可靠和可复现放在首位。外部链接为 arXiv:2501.10711。引用位置为第 1 节。文中据此提到 2024 年有 210 个、2025 年有 316 个新基准。

• [6] Center for AI Safety, Scale AI, and HLE Contributors Consortium (2026) A benchmark of expert-level academic questions to assess AI capabilities. Nature 649 (8099), pp. 1139–1146. External Links: Document, Link, ISSN 1476-4687 Cited by: §2.

完整条目，题名与出处已译：用专家级学术问题评估人工智能能力的基准。发表于《自然》第 649 卷 8099 期，第 1139 至 1146 页，国际标准连续出版物号 1476-4687。引用位置为第 2 节。这是 Humanity’s Last Exam。

• [7] M. Chen, J. Tworek, H. Jun, Q. Yuan, H. P. de Oliveira Pinto, J. Kaplan, H. Edwards, Y. Burda, N. Joseph, G. Brockman, A. Ray, R. Puri, G. Krueger, M. Petrov, H. Khlaaf, G. Sastry, P. Mishkin, B. Chan, S. Gray, N. Ryder, M. Pavlov, A. Power, L. Kaiser, M. Bavarian, C. Winter, P. Tillet, F. P. Such, D. Cummings, M. Plappert, F. Chantzis, E. Barnes, A. Herbert-Voss, W. H. Guss, A. Nichol, A. Paino, N. Tezak, J. Tang, I. Babuschkin, S. Balaji, S. Jain, W. Saunders, C. Hesse, A. N. Carr, J. Leike, J. Achiam, V. Misra, E. Morikawa, A. Radford, M. Knight, M. Brundage, M. Murati, K. Mayer, P. Welinder, B. McGrew, D. Amodei, S. McCandlish, I. Sutskever, and W. Zaremba (2021) Evaluating large language models trained on code. External Links: 2107.03374, Link Cited by: §1, §2.

完整条目，题名与出处已译：评测在代码上训练的大语言模型。外部链接为 arXiv:2107.03374。引用位置为第 1 节与第 2 节。这条工作对应 HumanEval。

• [8] S. Chen, X. Feng, X. Han, C. Liu, and W. Yang (2024) PPM: automated generation of diverse programming problems for benchmarking code generation models. Proceedings of the ACM on Software Engineering 1 (FSE), pp. 1194–1215. External Links: Document Cited by: §2.

完整条目，题名与出处已译：PPM，为基准评测代码生成模型而自动生成多样化编程题。发表于《ACM 软件工程汇刊》第 1 卷 FSE，第 1194 至 1215 页。引用位置为第 2 节。

• [9] S. Chen, P. Pusarla, and B. Ray (2025) DyCodeEval: dynamic benchmarking of reasoning capabilities in code large language models under data contamination. In Proceedings of the 42nd International Conference on Machine Learning, A. Singh, M. Fazel, D. Hsu, S. Lacoste-Julien, F. Berkenkamp, T. Maharaj, K. Wagstaff, and J. Zhu (Eds.), Proceedings of Machine Learning Research, Vol. 267, pp. 8890–8909. External Links: Link Cited by: §2.

完整条目，题名与出处已译：DyCodeEval，数据污染下代码大语言模型推理能力的动态基准。收录于第 42 届国际机器学习会议会议录，机器学习研究汇刊第 267 卷，第 8890 至 8909 页。引用位置为第 2 节。

• [10] N. Chowdhury, J. Aung, C. J. Shern, O. Jaffe, D. Sherburn, G. Starace, E. Mays, R. Dias, M. Aljubeh, M. Glaese, C. E. Jimenez, J. Yang, L. Ho, T. Patwardhan, K. Liu, and A. Madry (2024) Introducing SWE-bench Verified. Note: OpenAI External Links: Link Cited by: §B.1, §1, §1, §2, §4.1.

完整条目，题名与出处已译：介绍 SWE-bench Verified。说明来源为 OpenAI。引用位置为附录 B.1、第 1 节、第 2 节与第 4.1 节。文中提到 93 名专业开发者筛选任务。

• [11] X. Deng, J. Da, E. Pan, Y. Y. He, C. Ide, K. Garg, N. Lauffer, A. Park, N. Pasari, C. Rane, K. Sampath, M. Krishnan, S. Kundurthy, S. Hendryx, Z. Wang, V. Bharadwaj, J. Holm, R. Aluri, C. B. C. Zhang, N. Jacobson, B. Liu, and B. Kenstler (2025) SWE-Bench Pro: can AI agents solve long-horizon software engineering tasks?. External Links: 2509.16941, Link Cited by: §B.1, §1, §2, §4.1.

完整条目，题名与出处已译：SWE-Bench Pro，人工智能智能体能解决长程软件工程任务吗？外部链接为 arXiv:2509.16941。引用位置为附录 B.1、第 1 节、第 2 节与第 4.1 节。

• [12] R. Desai, J. Hu, J. Cabezas, N. Harsola, P. Shukla, R. B. Chaim, A. E. Assadi, O. M. Kamath, F. Faldu, P. Hebbar, J. Sun, Y. Li, P. Srinivasan, I. Gupta, C. Settles, D. Wang, D. Chen, P. Raja, A. Liu, M. Šuppa, N. Sasikumar, L. Kong, E. Quintanilla, X. Li, I. Bercovich, and S. Dillmann (2026) SWE-Marathon: can agents autonomously complete ultra-long-horizon software work?. External Links: 2606.07682, Link Cited by: §B.1, §1, §2, §4.1.

完整条目，题名与出处已译：SWE-Marathon，智能体能自主完成超长程软件工作吗？外部链接为 arXiv:2606.07682。引用位置为附录 B.1、第 1 节、第 2 节与第 4.1 节。

• [13] N. Edwards and S. Schuster (2026) Ask or assume? Uncertainty-aware clarification-seeking in coding agents. External Links: 2603.26233, Link Cited by: §A.2.

完整条目，题名与出处已译：询问还是假定？编码智能体中感知不确定性的澄清寻求。外部链接为 arXiv:2603.26233。引用位置为附录 A.2。文中用来说明用具常指示智能体做最小改动。

• [14] M. C. Frank and N. D. Goodman (2012) Predicting pragmatic reasoning in language games. Science 336 (6084), pp. 998–998. External Links: Document, Link, https://www.science.org/doi/pdf/10.1126/science.1218633 Cited by: §A.2.

完整条目，题名与出处已译：预测语言游戏中的语用推理。发表于《科学》第 336 卷 6084 期，第 998 页。引用位置为附录 A.2。

• [15] H. P. Grice (1975) Logic and conversation. In Syntax and Semantics, Vol. 3: Speech Acts, P. Cole and J. L. Morgan (Eds.), pp. 41–58. Cited by: §A.2.

完整条目，题名与出处已译：逻辑与会话。收录于《句法与语义》第 3 卷言语行为，编者 P. Cole 与 J. L. Morgan，第 41 至 58 页。引用位置为附录 A.2。这是数量准则的出处。

• [16] D. Hendrycks, C. Burns, S. Basart, A. Zou, M. Mazeika, D. Song, and J. Steinhardt (2021) Measuring massive multitask language understanding. External Links: 2009.03300, Link Cited by: §2.

完整条目，题名与出处已译：度量大规模多任务语言理解。外部链接为 arXiv:2009.03300。引用位置为第 2 节。这条工作对应 MMLU。

• [17] W. Huang, C. Lee, L. Tng, and S. Ge (2026) DeepSWE: measuring frontier coding agents on original, long-horizon engineering tasks. External Links: 2607.07946, Link Cited by: §B.1, Figure 1, §1, §2, §4.1.

完整条目，题名与出处已译：DeepSWE，在原创的长程工程任务上度量前沿编码智能体。外部链接为 arXiv:2607.07946。引用位置为附录 B.1、图 1、第 1 节、第 2 节与第 4.1 节。

• [18] C. E. Jimenez, J. Yang, A. Wettig, S. Yao, K. Pei, O. Press, and K. Narasimhan (2024) SWE-bench: can language models resolve real-world GitHub issues?. In International Conference on Learning Representations, B. Kim, Y. Yue, S. Chaudhuri, K. Fragkiadaki, M. Khan, and Y. Sun (Eds.), Vol. 2024, pp. 54107–54157. External Links: Link Cited by: §B.1, §1, §2.

完整条目，题名与出处已译：SWE-bench，语言模型能解决真实世界的 GitHub issue 吗？收录于国际学习表征会议，2024 年卷，第 54107 至 54157 页。引用位置为附录 B.1、第 1 节与第 2 节。

• [19] N. Kano, N. Seraku, F. Takahashi, and S. Tsuji (1984) Attractive quality and must-be quality. Journal of the Japanese Society for Quality Control (Hinshitsu) 14 (2), pp. 147–156. External Links: Document Cited by: §A.2.

完整条目，题名与出处已译：魅力质量与必备质量。发表于《日本质量管理学会志》第 14 卷 2 期，第 147 至 156 页。引用位置为附录 A.2。文中用来类比用户不会说出视为理所当然的特性。

• [20] D. Kiela, M. Bartolo, Y. Nie, D. Kaushik, A. Geiger, Z. Wu, B. Vidgen, G. Prasad, A. Singh, P. Ringshia, Z. Ma, T. Thrush, S. Riedel, Z. Waseem, P. Stenetorp, R. Jia, M. Bansal, C. Potts, and A. Williams (2021) Dynabench: rethinking benchmarking in NLP. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, K. Toutanova, A. Rumshisky, L. Zettlemoyer, D. Hakkani-Tur, I. Beltagy, S. Bethard, R. Cotterell, T. Chakraborty, and Y. Zhou (Eds.), Online, pp. 4110–4124. External Links: Link, Document Cited by: §2.

完整条目，题名与出处已译：Dynabench，重新思考自然语言处理中的基准评测。收录于计算语言学协会北美分会 2021 年会议：人类语言技术，在线举行，第 4110 至 4124 页。引用位置为第 2 节。

• [21] X. Li, Y. Liu, W. Chen, B. You, Z. Di, Y. He, S. Zheng, K. W. Choe, J. Sun, S. Wang, C. Tao, B. Li, X. Zhao, H. Geng, X. Wu, J. Zhou, X. Chen, H. Xing, Y. Li, Q. Zeng, D. Wang, Y. Wang, R. B. Chaim, P. Jiang, H. Shen, L. Kong, X. Liu, R. Wang, X. Liu, J. Li, X. Lan, Y. Lin, W. Ye, J. He, S. Li, Y. Zhang, Y. Gao, Y. Li, Z. Ma, L. Jing, T. Wang, K. Li, Y. Xue, H. Lyu, Y. He, Y. Tian, S. Wu, B. Wang, Y. Gao, B. Chen, L. Liu, S. Cheng, J. Bao, S. Tong, S. Xu, T. Y. Zhuo, T. Ye, Q. Qi, M. Li, L. Liao, Z. Tan, C. Shi, X. Tang, S. Tankasala, B. Yuan, Y. Qian, J. Tu, C. Wang, Y. Sun, W. Wang, A. Taylor, Z. Yang, C. Guan, Z. Dong, X. Zhang, S. Dillmann, H. Lee, and D. Song (2026) SkillsBench: benchmarking how well agent skills work across diverse tasks. External Links: 2602.12670, Link Cited by: §B.1, §1, §2, §4.1.

完整条目，题名与出处已译：SkillsBench，在多样任务上基准评测智能体技能的效果。外部链接为 arXiv:2602.12670。引用位置为附录 B.1、第 1 节、第 2 节与第 4.1 节。

• [22] P. Liang, R. Bommasani, T. Lee, D. Tsipras, D. Soylu, M. Yasunaga, Y. Zhang, D. Narayanan, Y. Wu, A. Kumar, B. Newman, B. Yuan, B. Yan, C. Zhang, C. Cosgrove, C. D. Manning, C. Ré, D. Acosta-Navas, D. A. Hudson, E. Zelikman, E. Durmus, F. Ladhak, F. Rong, H. Ren, H. Yao, J. Wang, K. Santhanam, L. Orr, L. Zheng, M. Yuksekgonul, M. Suzgun, N. Kim, N. Guha, N. Chatterji, O. Khattab, P. Henderson, Q. Huang, R. Chi, S. M. Xie, S. Santurkar, S. Ganguli, T. Hashimoto, T. Icard, T. Zhang, V. Chaudhary, W. Wang, X. Li, Y. Mai, Y. Zhang, and Y. Koreeda (2023) Holistic evaluation of language models. External Links: 2211.09110, Link Cited by: §2.

完整条目，题名与出处已译：语言模型的整体评测。外部链接为 arXiv:2211.09110。引用位置为第 2 节。这条工作对应 HELM。

• [23] J. Liu, C. S. Xia, Y. Wang, and L. Zhang (2023) Is your code generated by ChatGPT really correct? Rigorous evaluation of large language models for code generation. In Advances in Neural Information Processing Systems, A. Oh, T. Naumann, A. Globerson, K. Saenko, M. Hardt, and S. Levine (Eds.), Vol. 36, pp. 21558–21572. External Links: Document, Link Cited by: §2.

完整条目，题名与出处已译：ChatGPT 生成的代码真的正确吗？面向代码生成的大语言模型严格评测。收录于神经信息处理系统进展第 36 卷，第 21558 至 21572 页。引用位置为第 2 节。

• [24] M. Merrill, A. Shaw, N. Carlini, B. Li, H. Raj, I. Bercovich, L. Shi, J. Shin, T. Walshe, E. K. Buchanan, J. Shen, G. Ye, H. Lin, J. Poulos, M. Wang, M. Nezhurina, D. Lu, O. Menis Mastromichalakis, Z. Xu, Z. Chen, Y. Liu, R. Zhang, L. L. Chen, A. Kashyap, J. Uslu, J. Li, J. Wu, M. Yan, S. Bian, V. Sharma, K. Sun, S. Dillmann, A. Anand, A. Lanpouthakoun, B. Koopah, C. Hu, E. Guha, G. Dreiman, J. Zhu, K. Krauth, L. Zhong, N. Muennighoff, R. Amanfu, S. Tan, S. Pimpalgaonkar, T. Aggarwal, X. Lin, X. Lan, X. Zhao, Y. Liang, Y. Wang, Z. (. Wang, C. Zhou, D. Heineman, H. Liu, H. Trivedi, J. Yang, J. Lin, M. Shetty, M. Yang, N. Omi, N. Raoof, S. Li, T. Y. Zhuo, W. Lin, Y. Dai, Y. Wang, W. Chai, S. Zhou, D. Wahdany, Z. She, J. Hu, Z. Dong, Y. Zhu, S. Cui, A. Saiyed, A. Kolbeinsson, J. Hu, C. Rytting, R. Marten, Y. Wang, J. Jitsev, A. Dimakis, A. Konwinski, and L. Schmidt (2026) Terminal-Bench: benchmarking agents on hard, realistic tasks in command line interfaces. In International Conference on Learning Representations, C. Vondrick, B. Hariharan, C. Raffel, L. Pinto, D. Yang, and A. Faust (Eds.), Vol. 2026, pp. 40903–40986. External Links: Link Cited by: §2.

完整条目，题名与出处已译：Terminal-Bench，在命令行界面的困难而真实的任务上基准评测智能体。收录于国际学习表征会议，2026 年卷，第 40903 至 40986 页。引用位置为第 2 节。

• [25] J. Mohl, N. Gardner-Challis, M. Dubois, H. Coppock, B. Allan-Rahill, K. Yim, D. Sójka, J. Mann, and J. Olive (2026) Automated transcript analysis for detecting flaws in agentic benchmarks. External Links: 2607.27518, Link Cited by: §2.

完整条目，题名与出处已译：用自动化转录分析检测智能体基准中的缺陷。外部链接为 arXiv:2607.27518。引用位置为第 2 节。

• [26] N. Mündler, M. N. Müller, J. He, and M. Vechev (2024) SWT-Bench: testing and validating real-world bug-fixes with code agents. In Advances in Neural Information Processing Systems, A. Globerson, L. Mackey, D. Belgrave, A. Fan, U. Paquet, J. Tomczak, and C. Zhang (Eds.), Vol. 37, pp. 81857–81887. External Links: Document, Link Cited by: §2.

完整条目，题名与出处已译：SWT-Bench，用代码智能体测试并验证真实世界的缺陷修复。收录于神经信息处理系统进展第 37 卷，第 81857 至 81887 页。引用位置为第 2 节。

• [27] C. G. Northcutt, A. Athalye, and J. Mueller (2021) Pervasive label errors in test sets destabilize machine learning benchmarks. External Links: 2103.14749, Link Cited by: §2.

完整条目，题名与出处已译：测试集中普遍的标签错误会动摇机器学习基准。外部链接为 arXiv:2103.14749。引用位置为第 2 节。

• [28] C. Richter and M. Papadakis (2026) Underspecification does not imply incoherence: the risks of semantic collapse in coding models. External Links: 2607.01953, Link Cited by: §A.2.

完整条目，题名与出处已译：欠指定并不意味着不连贯：编码模型中语义坍缩的风险。外部链接为 arXiv:2607.01953。引用位置为附录 A.2。

• [29] S. Singh, Y. Nan, A. Wang, D. Dsouza, S. Kapoor, A. Üstün, S. Koyejo, Y. Deng, S. Longpre, N. Smith, B. Ermis, M. Fadaee, and S. Hooker (2025) The leaderboard illusion. In Advances in Neural Information Processing Systems, D. Belgrave, C. Zhang, H. Lin, R. Pascanu, P. Koniusz, M. Ghassemi, and N. Chen (Eds.), Vol. 38, pp. 86910–86964. External Links: Document, Link Cited by: §2.

完整条目，题名与出处已译：排行榜错觉。收录于神经信息处理系统进展第 38 卷，第 86910 至 86964 页。引用位置为第 2 节。

• [30] A. Srivastava, A. Rastogi, A. Rao, A. A. M. Shoeb, A. Abid, A. Fisch, A. R. Brown, A. Santoro, A. Gupta, A. Garriga-Alonso, A. Kluska, A. Lewkowycz, A. Agarwal, A. Power, A. Ray, A. Warstadt, A. W. Kocurek, A. Safaya, A. Tazarv, A. Xiang, A. Parrish, A. Nie, A. Hussain, A. Askell, A. Dsouza, A. Slone, A. Rahane, A. S. Iyer, A. Andreassen, A. Madotto, A. Santilli, A. Stuhlmüller, A. Dai, A. La, A. Lampinen, A. Zou, A. Jiang, A. Chen, A. Vuong, A. Gupta, A. Gottardi, A. Norelli, A. Venkatesh, A. Gholamidavoodi, A. Tabassum, A. Menezes, A. Kirubarajan, A. Mullokandov, A. Sabharwal, A. Herrick, A. Efrat, A. Erdem, A. Karakaş, B. R. Roberts, B. S. Loe, B. Zoph, B. Bojanowski, B. Özyurt, B. Hedayatnia, B. Neyshabur, B. Inden, B. Stein, B. Ekmekci, B. Y. Lin, B. Howald, B. Orinion, C. Diao, C. Dour, C. Stinson, C. Argueta, C. F. Ramírez, C. Singh, C. Rathkopf, C. Meng, C. Baral, C. Wu, C. Callison-Burch, C. Waites, C. Voigt, C. D. Manning, C. Potts, C. Ramirez, C. E. Rivera, C. Siro, C. Raffel, C. Ashcraft, C. Garbacea, D. Sileo, D. Garrette, D. Hendrycks, D. Kilman, D. Roth, D. Freeman, D. Khashabi, D. Levy, D. M. González, D. Perszyk, D. Hernandez, D. Chen, D. Ippolito, D. Gilboa, D. Dohan, D. Drakard, D. Jurgens, D. Datta, D. Ganguli, D. Emelin, D. Kleyko, D. Yuret, D. Chen, D. Tam, D. Hupkes, D. Misra, D. Buzan, D. C. Mollo, D. Yang, D. Lee, D. Schrader, E. Shutova, E. D. Cubuk, E. Segal, E. Hagerman, E. Barnes, E. Donoway, E. Pavlick, E. Rodolà, E. Lam, E. Chu, E. Tang, E. Erdem, E. Chang, E. A. Chi, E. Dyer, E. Jerzak, E. Kim, E. E. Manyasi, E. Zheltonozhskii, F. Xia, F. Siar, F. Martínez-Plumed, F. Happé, F. Chollet, F. Rong, G. Mishra, G. I. Winata, G. de Melo, G. Kruszewski, G. Parascandolo, G. Mariani, G. Wang, G. Jaimovitch-López, G. Betz, G. Gur-Ari, H. Galijasevic, H. Kim, H. Rashkin, H. Hajishirzi, H. Mehta, H. Bogar, H. Shevlin, H. Schütze, H. Yakura, H. Zhang, H. M. Wong, I. Ng, I. Noble, J. Jumelet, J. Geissinger, J. Kernion, J. Hilton, J. Lee, J. F. Fisac, J. B. Simon, J. Koppel, J. Zheng, J. Zou, J. Kocoń, J. Thompson, J. Wingfield, J. Kaplan, J. Radom, J. Sohl-Dickstein, J. Phang, J. Wei, J. Yosinski, J. Novikova, J. Bosscher, J. Marsh, J. Kim, J. Taal, J. Engel, J. Alabi, J. Xu, J. Song, J. Tang, J. Waweru, J. Burden, J. Miller, J. U. Balis, J. Batchelder, J. Berant, J. Frohberg, J. Rozen, J. Hernandez-Orallo, J. Boudeman, J. Guerr, J. Jones, J. B. Tenenbaum, J. S. Rule, J. Chua, K. Kanclerz, K. Livescu, K. Krauth, K. Gopalakrishnan, K. Ignatyeva, K. Markert, K. D. Dhole, K. Gimpel, K. Omondi, K. Mathewson, K. Chiafullo, K. Shkaruta, K. Shridhar, K. McDonell, K. Richardson, L. Reynolds, L. Gao, L. Zhang, L. Dugan, L. Qin, L. Contreras-Ochando, L. Morency, L. Moschella, L. Lam, L. Noble, L. Schmidt, L. He, L. O. Colón, L. Metz, L. K. Şenel, M. Bosma, M. Sap, M. ter Hoeve, M. Farooqi, M. Faruqui, M. Mazeika, M. Baturan, M. Marelli, M. Maru, M. J. R. Quintana, M. Tolkiehn, M. Giulianelli, M. Lewis, M. Potthast, M. L. Leavitt, M. Hagen, M. Schubert, M. O. Baitemirova, M. Arnaud, M. McElrath, M. A. Yee, M. Cohen, M. Gu, M. Ivanitskiy, M. Starritt, M. Strube, M. Swędrowski, M. Bevilacqua, M. Yasunaga, M. Kale, M. Cain, M. Xu, M. Suzgun, M. Walker, M. Tiwari, M. Bansal, M. Aminnaseri, M. Geva, M. Gheini, M. V. T, N. Peng, N. A. Chi, N. Lee, N. G. Krakover, N. Cameron, N. Roberts, N. Doiron, N. Martinez, N. Nangia, N. Deckers, N. Muennighoff, N. S. Keskar, N. S. Iyer, N. Constant, N. Fiedel, N. Wen, O. Zhang, O. Agha, O. Elbaghdadi, O. Levy, O. Evans, P. A. M. Casares, P. Doshi, P. Fung, P. P. Liang, P. Vicol, P. Alipoormolabashi, P. Liao, P. Liang, P. Chang, P. Eckersley, P. M. Htut, P. Hwang, P. Miłkowski, P. Patil, P. Pezeshkpour, P. Oli, Q. Mei, Q. Lyu, Q. Chen, R. Banjade, R. E. Rudolph, R. Gabriel, R. Habacker, R. Risco, R. Millière, R. Garg, R. Barnes, R. A. Saurous, R. Arakawa, R. Raymaekers, R. Frank, R. Sikand, R. Novak, R. Sitelew, R. LeBras, R. Liu, R. Jacobs, R. Zhang, R. Salakhutdinov, R. Chi, R. Lee, R. Stovall, R. Teehan, R. Yang, S. Singh, S. M. Mohammad, S. Anand, S. Dillavou, S. Shleifer, S. Wiseman, S. Gruetter, S. R. Bowman, S. S. Schoenholz, S. Han, S. Kwatra, S. A. Rous, S. Ghazarian, S. Ghosh, S. Casey, S. Bischoff, S. Gehrmann, S. Schuster, S. Sadeghi, S. Hamdan, S. Zhou, S. Srivastava, S. Shi, S. Singh, S. Asaadi, S. S. Gu, S. Pachchigar, S. Toshniwal, S. Upadhyay, S. Debnath, S. Shakeri, S. Thormeyer, S. Melzi, S. Reddy, S. P. Makini, S. Lee, S. Torene, S. Hatwar, S. Dehaene, S. Divic, S. Ermon, S. Biderman, S. Lin, S. Prasad, S. T. Piantadosi, S. M. Shieber, S. Misherghi, S. Kiritchenko, S. Mishra, T. Linzen, T. Schuster, T. Li, T. Yu, T. Ali, T. Hashimoto, T. Wu, T. Desbordes, T. Rothschild, T. Phan, T. Wang, T. Nkinyili, T. Schick, T. Kornev, T. Tunduny, T. Gerstenberg, T. Chang, T. Neeraj, T. Khot, T. Shultz, U. Shaham, V. Misra, V. Demberg, V. Nyamai, V. Raunak, V. Ramasesh, V. U. Prabhu, V. Padmakumar, V. Srikumar, W. Fedus, W. Saunders, W. Zhang, W. Vossen, X. Ren, X. Tong, X. Zhao, X. Wu, X. Shen, Y. Yaghoobzadeh, Y. Lakretz, Y. Song, Y. Bahri, Y. Choi, Y. Yang, Y. Hao, Y. Chen, Y. Belinkov, Y. Hou, Y. Hou, Y. Bai, Z. Seid, Z. Zhao, Z. Wang, Z. J. Wang, Z. Wang, and Z. Wu (2023) Beyond the imitation game: quantifying and extrapolating the capabilities of language models. External Links: 2206.04615, Link Cited by: §2.

完整条目，题名与出处已译：超越模仿游戏：量化并外推语言模型的能力。外部链接为 arXiv:2206.04615。引用位置为第 2 节。这条工作对应 BIG-bench，作者名单极长，人名保留原文不译。

• [31] X. Tu, T. Wang, Y. Lu, K. Huang, Y. Qu, and S. Mostafavi (2026) BenchGuard: who guards the benchmarks? Automated auditing of LLM agent benchmarks. External Links: 2604.24955, Link Cited by: §2.

完整条目，题名与出处已译：BenchGuard，谁来守卫基准？大语言模型智能体基准的自动化审计。外部链接为 arXiv:2604.24955。引用位置为第 2 节。

• [32] J. Wang, F. Bianchi, S. Zhu, F. Nie, Y. Kwon, B. Dhingra, and J. Zou (2026) Automated benchmark auditing for AI agents and large language models. External Links: 2605.26079, Link Cited by: §1, §2.

完整条目，题名与出处已译：面向人工智能智能体与大语言模型的自动化基准审计。外部链接为 arXiv:2605.26079。引用位置为第 1 节与第 2 节。这条工作对应 ABA。

• [33] Y. Wang, M. Pradel, and Z. Liu (2026) Are “solved issues” in SWE-bench really solved correctly? An empirical study. In Proceedings of the IEEE/ACM 48th International Conference on Software Engineering, ICSE ’26, New York, NY, USA, pp. 169–181. External Links: ISBN 9798400720253, Link, Document Cited by: §1, §2.

完整条目，题名与出处已译：SWE-bench 里“已解决的 issue”真的被正确解决了吗？一项实证研究。收录于电气电子工程师学会与计算机协会第 48 届软件工程国际会议会议录，ICSE ’26，美国纽约州纽约市，第 169 至 181 页，ISBN 9798400720253。引用位置为第 1 节与第 2 节。这条工作对应 PatchDiff。

• [34] C. Xu, S. Guan, D. Greene, and M. Kechadi (2024) Benchmark data contamination of large language models: a survey. External Links: 2406.04244, Link Cited by: §2.

完整条目，题名与出处已译：大语言模型的基准数据污染：一项综述。外部链接为 arXiv:2406.04244。引用位置为第 2 节。

• [35] J. Yang, C. E. Jimenez, A. Zhang, K. Lieret, J. Yang, X. Wu, O. Press, N. Muennighoff, G. Synnaeve, K. Narasimhan, D. Yang, S. Wang, and O. Press (2025) SWE-bench Multimodal: do AI systems generalize to visual software domains?. In International Conference on Learning Representations, Y. Yue, A. Garg, N. Peng, F. Sha, and R. Yu (Eds.), Vol. 2025, pp. 2794–2829. External Links: Link Cited by: §2.

完整条目，题名与出处已译：SWE-bench 多模态：人工智能系统能泛化到可视化软件领域吗？收录于国际学习表征会议，2025 年卷，第 2794 至 2829 页。引用位置为第 2 节。

• [36] B. Yu, Y. Cao, Y. Zhang, L. Lin, J. Xu, Z. Zhong, Q. Xu, G. Wang, J. Cao, S. Cheung, P. He, and L. Briand (2026) SWE-ABS: adversarial benchmark strengthening exposes inflated success rates on test-based benchmark. External Links: 2603.00520, Link Cited by: §1, §2, §4.4.

完整条目，题名与出处已译：SWE-ABS，对抗式基准加固暴露基于测试的基准上被抬高的成功率。外部链接为 arXiv:2603.00520。引用位置为第 1 节、第 2 节与第 4.4 节。

• [37] B. Yu, Y. Zhu, P. He, and D. Kang (2025) UTBoost: rigorous evaluation of coding agents on SWE-bench. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), W. Che, J. Nabende, E. Shutova, and M. T. Pilehvar (Eds.), Vienna, Austria, pp. 3762–3774. External Links: Link, Document, ISBN 979-8-89176-251-0 Cited by: §1, §2.

完整条目，题名与出处已译：UTBoost，在 SWE-bench 上严格评测编码智能体。收录于计算语言学协会第 63 届年会会议录第 1 卷长文，奥地利维也纳，第 3762 至 3774 页，ISBN 979-8-89176-251-0。引用位置为第 1 节与第 2 节。

• [38] D. Zan, Z. Huang, W. Liu, H. Chen, L. Zhang, S. Xin, L. Chen, Q. Liu, X. Zhong, A. Li, S. Liu, Y. Xiao, L. Chen, Y. Zhang, J. Su, T. Liu, R. Long, K. Shen, and L. Xiang (2025) Multi-SWE-bench: a multilingual benchmark for issue resolving. External Links: 2504.02605, Link Cited by: §2.

完整条目，题名与出处已译：Multi-SWE-bench，面向 issue 解决的多语言基准。外部链接为 arXiv:2504.02605。引用位置为第 2 节。

• [39] L. Zhang, S. He, C. Zhang, Y. Kang, B. Li, C. Xie, J. Wang, M. Wang, Y. Huang, S. Fu, E. Nallipogu, Q. Lin, Y. Dang, S. Rajmohan, and D. Zhang (2025) SWE-bench goes live!. External Links: 2505.23419, Link Cited by: §2.

完整条目，题名与出处已译：SWE-bench 走向实况！外部链接为 arXiv:2505.23419。引用位置为第 2 节。

• [40] Y. Zhu, T. Jin, Y. Pruksachatkun, A. Zhang, S. Liu, S. Cui, S. Kapoor, S. Longpre, K. Meng, R. Weiss, F. Barez, R. Gupta, J. Dhamala, J. Merizian, M. Giulianelli, H. Coppock, C. Ududec, A. Kellermann, J. Sekhon, J. Steinhardt, S. Schwettmann, A. Narayanan, M. A. Zaharia, I. Stoica, P. Liang, and D. Kang (2025) Establishing best practices in building rigorous agentic benchmarks. In Advances in Neural Information Processing Systems, D. Belgrave, C. Zhang, H. Lin, R. Pascanu, P. Koniusz, M. Ghassemi, and N. Chen (Eds.), Vol. 38, pp. 184435–184475. External Links: Document, Link Cited by: §2.

完整条目，题名与出处已译：建立构建严谨智能体基准的最佳实践。收录于神经信息处理系统进展第 38 卷，第 184435 至 184475 页。引用位置为第 2 节。文中据此提到任务设置或奖励设计的缺陷可以把性能误估多达百分之百。

各条文献在本文中的作用，用中文复述如下，作者姓名仍以原文为准。第一条 Otter 说明可以从 issue 生成测试来核验补丁。第二条 SWE-Bench+ 说明薄弱测试会把解决率从一成多降到不足四成。第三条是程序合成与 MBPP 的来源。第四条 SWE-rebench 代表去污染的任务收集流水线。第五条统计了近两年新出现的代码基准数量。第六条是专家级学术问答基准，刊于《自然》。第七条是在代码上训练并评测语言模型，对应 HumanEval。第八条 PPM 自动生成多样编程题。第九条 DyCodeEval 在数据污染条件下做动态评测。第十条介绍经过人工筛选的 SWE-bench Verified。第十一条问智能体能否完成 SWE-Bench Pro 的长程任务。第十二条问智能体能否完成 SWE-Marathon 的超长程工作。第十三条讨论编码智能体在不确定时应当询问还是自行假定。第十四条与第十五条为语用学与会话准则，用来解释作者为何省略读者应能推断的要求。第十六条是大规模多任务语言理解，即 MMLU。第十七条是 DeepSWE，度量原创长程工程任务。第十八条是 SWE-bench 原论文，问模型能否解决真实 GitHub issue。第十九条把魅力质量与必备质量用于说明用户不会写出理所当然的要求。第二十条 Dynabench 主张持续收集对抗样本。第二十一条 SkillsBench 评测技能在多样任务上是否有效。第二十二条是语言模型的整体评测 HELM。第二十三条追问聊天模型生成的代码是否真的正确。第二十四条 Terminal-Bench 在命令行困难任务上评测智能体。第二十五条用转录分析发现智能体基准的缺陷。第二十六条 SWT-Bench 用智能体测试真实缺陷修复。第二十七条指出测试集标签错误会动摇基准。第二十八条警告欠指定不等于编码模型语义坍缩。第二十九条称为排行榜错觉。第三十条是 BIG-bench，量化并外推语言模型能力，作者名单极长故不译名。第三十一条 BenchGuard 追问谁来审计基准本身。第三十二条是自动化基准审计 ABA。第三十三条是 PatchDiff 对“已解决 issue”是否真的解决的实证研究。第三十四条综述基准数据污染。第三十五条把 SWE-bench 扩到视觉软件领域。第三十六条 SWE-ABS 用对抗测试暴露被抬高的成功率。第三十七条 UTBoost 加强 SWE-bench 的测试。第三十八条 Multi-SWE-bench 覆盖多种编程语言。第三十九条让 SWE-bench 持续更新到实况任务。第四十条整理构建严谨智能体基准的最佳实践，并指出设置或奖励缺陷最多可造成百分之百的性能误估。上述四十条与原文编号一一对应，题名、刊物、会议、卷期、页码和 arXiv 号均已在各条中译出或保留。

文献条目里的 External Links 一律译作外部链接，Link 译作链接，Document 译作文档，Cited by 译作引用位置，Note 译作说明，In Proceedings 译作收录于会议录，pp. 译作页码。HumanEval、HELM、BIG-bench、Terminal-Bench、SkillsBench、SWE-Marathon 与 SWE-bench Pro 的合著者人数很多，姓与名保持拉丁字母，不音译，以免把人名误当成可省略的英文词。引用位置中的节号、图号与附录号也保持原文记号，例如第 1 节、第 2 节、第 4.1 节、附录 B.1 与图 1。这样做是为了让每一条参考文献在中文里仍然可以按编号回指正文，而不是只留下一长串未译姓名。

再补一句对照：四十条参考文献的题名都已译成中文，会议名包括国际机器学习会议、国际学习表征会议、神经信息处理系统进展、计算语言学协会年会、北美分会人类语言技术会议，以及软件工程国际会议；刊物包括《自然》《科学》《ACM 软件工程汇刊》和《日本质量管理学会志》。卷、期、页码与 ISBN 均按原条目保留数字。arXiv 编号从 2107.03374、2108.07732、2009.03300、2206.04615、2103.14749、2406.04244、2410.06992、2502.05368、2501.10711、2505.20411、2509.16941、2606.07682、2603.26233、2607.07946、2602.12670、2211.09110、2607.27518、2607.01953、2604.24955、2605.26079、2603.00520、2504.02605、2505.23419 起，到其余各条为止，全部留在对应条目中，不另编一套中文编号。

人名不译的范围还包括 Otter、SWE-Bench+、程序合成、SWE-rebench、代码基准规范、专家问答、代码模型评测、PPM、DyCodeEval、SWE-bench Verified、SWE-Bench Pro、询问或假定、语用推理、逻辑与会话、多任务理解、DeepSWE、真实 issue、必备质量、Dynabench、整体评测、代码正确性、转录分析、SWT-Bench、标签错误、语义坍缩、排行榜错觉、守卫基准、自动化审计、已解决 issue、数据污染、多模态、对抗加固、严格评测、多语言基准、实况基准和最佳实践这四十个条目的全部合著者。

因此参考文献这一块的中文覆盖题名、出处、引用位置和文献作用，而不是把姓名改写成中文。

编号从一到四十，与原文方括号编号完全对齐，没有合并，也没有删条。

一条参考文献都没有漏掉。

附录 A 方法讨论

A.1 任务良构性假设

TestJack 假设基准套件中的每一个任务在式（1）的意义上都是良构的，也就是 $\mathcal{B}(T_{0})\subseteq\mathcal{B}(P)\subseteq\mathcal{B}(G)$。这一假设可以以三种方式失败，本文都不予考虑：

• $\mathcal{B}(T_{0})\not\subseteq\mathcal{B}(P)$：官方测试断言了提示并不要求的行为。一次试验于是可能被标为失败，尽管它满足了任务所要求的一切，因此我们所审计的基准裁决本身对这次试验是不公平的。
• $\mathcal{B}(P)\not\subseteq\mathcal{B}(G)$：提示要求某种行为，无论是陈述的还是暗示的，而真值并没有实现它。预言机验证于是会丢弃一项合法的见证测试，因为针对该行为的测试在 $R[G]$ 上失败，永远到不了试验。
• $\mathcal{B}(T_{0})\not\subseteq\mathcal{B}(G)$：官方测试断言了真值并未展现的行为，也就是真值通不过基准用来打分的测试。TestJack 所依赖的两件产物于是互相矛盾，哪一件都不能充当参照。

第三种情形在很大程度上被基准的构建过程排除了，因为我们所审计的基准在任务发布之前会验证参考解通过官方测试（§4.1）。前两种是任务质量的性质，试验级的审计无法修复：它们要求的是修正任务，而不是评判任何一次特定提交。一个相关但不同的失败出现在式（1）对任务作者成立、但对阅读 $P$ 的智能体不成立时，我们在 §A.2 中单独处理。

A.2 隐含要求与提示欠指定

$\mathcal{Q}_{e}(P)$ 中的显式要求对解释而言总是清楚的，但 $\mathcal{Q}_{i}(P)$ 中的隐含要求更难。任务作者习惯性地省略他们期望任何读者都能推断出的要求，遵循数量准则 [15, 14]，很像顾客从不陈述他们视为理所当然的“必备”特性 [19]。当作者与读者共享这一背景时，省略是无害的。当他们不共享时，提示就是欠指定的：真值实现了该行为，没有任何官方测试检查它，但一次试验是否必须实现它是含糊的（图 1，右）。一次失败的见证于是反映的是提示的缺陷，而不是试验的缺陷。

用行为空间来表述的欠指定。式（1）中的嵌套使这一区分变得精确。令 $\mathcal{B}_{e}(P)$ 与 $\mathcal{B}_{i}(P)$ 表示 $\mathcal{Q}_{e}(P)$ 与 $\mathcal{Q}_{i}(P)$ 所要求的行为，从而 $\mathcal{B}(P)=\mathcal{B}_{e}(P)\cup\mathcal{B}_{i}(P)$。每一个见证所针对的，都是真值实现了、但基准测试留下未检查的行为，而这一区域分成三部分：$\mathcal{B}(G)\setminus\mathcal{B}(T_{0})=\underbrace{\mathcal{B}_{e}(P)\setminus\mathcal{B}(T_{0})}_{\text{stated}}\;\cup\;\underbrace{\mathcal{B}_{i}(P)\setminus\mathcal{B}(T_{0})}_{\text{implied}}\;\cup\;\underbrace{\mathcal{B}(G)\setminus\mathcal{B}(P)}_{\text{incidental}}.$ （3）陈述部分与附带部分是不含糊的：试验必须实现已陈述的行为，而不必复现附带行为。欠指定住在暗示部分，因为 $\mathcal{B}_{i}(P)$ 不是 $P$ 单独的性质，而是 $P$ 连同阅读它的人所具有的背景知识的性质。令 $\mathcal{B}_{i}^{A}(P)$ 表示任务作者所意图的隐含行为，$\mathcal{B}_{i}^{R}(P)\subseteq\mathcal{B}_{i}^{A}(P)$ 表示读者能够从 $P$ 推断出的那一部分。当这个包含是严格的时候，提示就是欠指定的，而差值 $\Delta(P)=\mathcal{B}_{i}^{A}(P)\setminus\mathcal{B}_{i}^{R}(P)$ （4）是这样的行为：真值实现了它，因为作者把它写了进去；没有任何测试检查它；但读者没有办法知道它是被要求的。从读者的视角看，$\Delta(P)$ 属于式（3）的附带部分，因此式（1）中的嵌套对作者对 $P$ 的读法成立，对智能体则不成立。$\Delta(P)$ 中的见证在 $R[G]$ 上通过、在 $R[s]$ 上失败，然而该试验对智能体实际看到的提示是忠实的。把 $\Delta(P)$ 与 $\mathcal{B}_{i}^{R}(P)$ 分开，需要知道读者能够推断什么，而这不是直接可观察的。因此 TestJack 把被评测的模型自己当作读者。

TestJack 对审查智能体所接受的每一个见证测试 $t_{q}$ 区分这两种情形。这样一项测试检查 $T_{0}$ 所不检查的一项要求 $q$，并且按构造有 $t_{q}(R[G])=\textsf{pass}$。两个信号决定 $q$ 的类别。第一，若审计智能体的要求清单能够引用 $P$ 中陈述它的一个条款，则 $q$ 是显式的，否则是隐含的。第二，该任务的试验揭示 $q$ 是否可从 $P$ 推断。若一个模型在该任务上大多数通过的试验都在 $t_{q}$ 上失败，我们就说该模型跳过了 $q$，并令 $\rho(q)$ 为有通过试验且跳过 $q$ 的模型所占的比例。按模型而不是按试验计数，使拥有许多重复运行的模型无法主导。TestJack 然后按经验把 $q$ 分类如下。

• 必要且显式（$q\in\mathcal{Q}_{e}(P)$）：提示陈述了 $q$，因此每一次在 $t_{q}$ 上失败的试验都被反驳，无论有多少模型跳过它。缺陷在于不足的测试。
• 必要且隐含（$q\in\mathcal{Q}_{i}(P)$ 且 $\rho(q)\leq 1/2$）：大多数模型在没有被告知的情况下实现了 $q$，这表明它可从 $P$ 推断。在 $t_{q}$ 上失败的试验被反驳，缺陷再次在于测试。
• 含糊（$q\in\mathcal{Q}_{i}(P)$ 且 $\rho(q)>1/2$）：大多数模型跳过一项提示从未陈述的要求。缺陷在于欠指定的提示，在 $t_{q}$ 上失败的试验不据此被反驳。

用式（3）来说，这三类分别对应于陈述部分、可推断部分 $\mathcal{B}_{i}^{R}(P)\setminus\mathcal{B}(T_{0})$，以及含糊部分 $\Delta(P)$，$\rho(q)$ 充当 $q$ 是否位于 $\mathcal{B}_{i}^{R}(P)$ 之中的经验检验。针对附带行为的测试，也就是提示完全不要求的行为，已经被审查智能体拒绝（§3.2）。因为 $\rho(q)$ 依赖于全部智能体的试验，这一分类是任务的性质，并在全部试验语料上只计算一次。

跳过并不等于含糊。智能体可能认出一项隐含要求却仍然跳过它，因为基于测试的奖励对未被测试的行为不给分，而智能体用具常常指示智能体做最小改动 [13]。模型也可能坍缩到对任务的同一种误读上 [28]。因此含糊类可以包含清楚、但被广泛跳过的要求。我们在附录 B.2 中报告带有这种含糊性的任务，并附带若干案例研究。

A.3 随机化试验审计

算法 1 给出 §3.3 轻量途径针对单个任务的伪代码。它先用基于提示的任务分析构建增强套件，并反驳每一个在其上失败的试验，然后反复从活动集中审计一次随机抽样的试验，并把由此得到的见证在所有剩余试验上重放。

算法 1 单任务的随机化试验审计

译注：HTML 转写漏掉了算法伪代码，此处按论文源码附录恢复。伪代码保持原文符号，行尾中文是对照说明。

输入：规格 P，仓库 R，真值 G，基准套件 T_0，通过基准的试验 S，预算 B
输出：被反驳的试验 F，增强测试套件 T
T ← T_0 ∪ TaskAnalysis(P, R, G, T_0)    # 每一项新增测试都在 R[G] 上通过
F ← { s ∈ S | ∃ t ∈ T : t(R[s]) = fail }
A ← S \ F
当 A ≠ ∅ 且预算 B 尚未耗尽：
    从 A 中均匀随机抽取 s
    W ← AuditTrial(P, R, G, s)          # 已确认的见证，见 §3.2
    若 W = ∅：
        A ← A \ {s}                     # 已审计且干净
    否则：
        T ← T ∪ W
        F' ← { s' ∈ A | ∃ t ∈ W : t(R[s']) = fail }   # 包含 s
        F ← F ∪ F'；A ← A \ F'
返回 F, T

附录 B 补充实验结果

B.1 补充实验设置

基准。本节展开 §4.1 的摘要。SWE-bench Verified [10] 是 SWE-bench [18] 经人工筛选的 500 个任务的子集，并且仍然是智能体编码评测事实上的标准。它的任务从 12 个 Python 仓库中已合并的拉取请求挖掘而来，并由每个拉取请求所附带的测试评分。SWE-bench Pro [11] 在左版许可证仓库上遵循同一挖掘做法，瞄准更大的多文件改动，并用人工审查的 fail-to-pass 与 pass-to-pass 测试评分。我们使用它跨 11 个仓库的 731 个任务的公开划分，这是唯一发布了参考补丁的划分。DeepSWE [17]（版本 1.0）则跨 91 个仓库和五种语言从零撰写 113 个原创任务，并用手写的功能验证器评分，这些验证器意图接受所请求行为的任何实现。SkillsBench [21] 和 SWE-Marathon [12]（版本 1.0）是容器化的、Harbor 风格的基准，其任务各自附带一条指令、一个起始环境、一个留出的参考（预言机）解，以及一个隐藏验证器；SWE-Marathon 进一步用多层检查和对抗性利用搜索来加固其验证器。

任务选择。TestJack 反复构建并执行每个任务的环境，每个候选测试一次、每次试验一次，因此我们排除环境使这样做变得不可行的任务。于是从 SkillsBench 中我们保留不需要 GPU 的、以编码为中心的任务，在 8 个领域中留下它 87 个任务里的 13 个：azure-bgp-oscillation-route-leak、data-to-d3、dialogue-parser、earthquake-plate-calculation、fix-build-agentops、flink-query、jax-computing-basics、lake-warming-attribution、mars-clouds-clustering、parallel-tfidf-search、protein-expression-analysis、simpo-code-reproduction、spring-boot-jakarta-migration。从 SWE-Marathon 中我们保留既不需要 GPU、也不是构建 C 编译器或用 Rust 重新实现 Kubernetes 这类超长程项目的任务，在它 20 个任务里留下 2 个：wasm-simd、zstd-decoder。

基准版本。基准在发布之后仍在变化，维护者会修复任务、验证器和环境，因此通过的试验数和被反驳的试验数取决于所审计的版本。表 5 钉死我们所使用的每个基准的确切版本。DeepSWE、SkillsBench 和 SWE-Marathon 以 Git 仓库分发，我们使用紧接其带标签发布之后的一个提交。SWE-bench Verified 和 SWE-bench Pro 以 Hugging Face 数据集分发，我们固定数据集修订号；对 SWE-bench Pro，我们还钉死官方评测用具的提交。

表 5：评测中使用的基准版本。版本给出最近的发布标签以及其后的提交数。日期对 GitHub 仓库是提交日期，对 Hugging Face 数据集是下载日期。每一条先列出仓库，再列出被钉死的提交（GitHub）或数据集修订号（Hugging Face）。

版本条目的中文读法如下。DeepSWE 使用 v1.0.0 之后 1 个提交，日期 2026 年 6 月 1 日，仓库 datacurve-ai/deep-swe，固定提交 578129c4334f6656a92a1c629af63a530596f169。SkillsBench 使用 v1.0 之后 8 个提交，日期 2026 年 6 月 12 日，仓库 benchflow-ai/skillsbench，固定提交 52659746d8167c4a347c9c0dd7e6a210f84d0fd8。SWE-Marathon 使用 v1.0-official 之后 19 个提交，日期 2026 年 6 月 18 日，仓库 abundant-ai/swe-marathon，固定提交 176d311ec6e2de802b133c59c34ce339c8560403。SWE-bench Pro 的评测用具没有单独的版本标签，日期 2026 年 5 月 18 日，仓库 scaleapi/SWE-bench_Pro-os，固定提交 ca10a60a5fcae51e6948ffe1485d4153d421e6c5。SWE-bench Verified 作为 Hugging Face 数据集，下载日期 2026 年 8 月 27 日，数据集 SWE-bench/SWE-bench_Verified，修订号 78f471bf655a3137b2e8a75af1501690ec009ec3。SWE-bench Pro 的数据集同样在 2026 年 8 月 27 日下载，数据集 ScaleAI/SWE-bench_Pro，修订号 7ab5114912baf22bb098818e604c02fe7ad2c11f。

表 6：由轻量途径使用附录 A.2 的分类所识别出的、提示欠指定的任务。#Tasks 给出被审计任务中欠指定任务的数目。∗、‡：任务子集与表 1 相同。

表 6 的中文读法如下，任务标识保持原文。DeepSWE 在 113 个任务中有 29 个提示欠指定，它们是：adaptix-name-mapping-aliases（名称映射别名）、arktype-json-schema-refs-dependencies（JSON Schema 引用与依赖）、bandit-structured-nosec-directives（结构化的 nosec 指示）、cattrs-partial-structuring-recovery（部分结构化的恢复）、claude-code-by-agents-recursive-delegation（递归委托）、csstree-shorthand-expansion-compression（简写展开与压缩）、dasel-html-document-format（HTML 文档格式）、dateutil-rfc5545-timezone-interop（RFC5545 时区互操作）、etree-xml-diff-patch（XML 差分补丁）、expr-try-catch-errors（try-catch 错误）、fd-deterministic-multi-key-sorting（确定性多键排序）、go-genai-streamed-function-args（流式函数参数）、goreleaser-retry-publish-auditing（重试发布审计）、gql-incremental-graphql-delivery（增量 GraphQL 交付）、helm-unified-manifest-stream（统一清单流）、httpx-streaming-json-iteration（流式 JSON 迭代）、ink-grid-box-layout（网格盒布局）、katex-multicolumn-array-spans（多列数组跨度）、mashumaro-flattened-dataclass-fields（展平的数据类字段）、obsidian-linter-auto-table-of-contents（自动目录）、opa-template-string-reconstruction（模板字符串重建）、optique-conditional-option-dependencies（条件选项依赖）、oxvg-structural-selector-preservation（结构选择器保持）、python-statemachine-state-data-scoping（状态数据作用域）、termenv-preserve-ansi-resets（保留 ANSI 重置）、testem-per-launcher-reports（按启动器的报告）、textual-kitty-key-phases（Kitty 键阶段）、textual-richlog-follow-state（RichLog 跟随状态）、updo-policy-alerting（基于策略的告警）。SkillsBench 在所审计的 13 个任务中有 3 个欠指定：jax-computing-basics（JAX 计算基础）、parallel-tfidf-search（并行 TF-IDF 检索）、spring-boot-jakarta-migration（Spring Boot 的 Jakarta 迁移）。SWE-Marathon 所审计的 2 个任务全都欠指定：wasm-simd 与 zstd-decoder。

B.2 欠指定的提示

我们把附录 A.2 的要求分类应用到轻量途径所产生的见证测试上。当提示没有陈述某项要求、并且该任务上有通过试验的大多数模型都跳过它时，该要求是含糊的；当一个任务至少有一项要求是含糊的，我们就称其提示欠指定。在这一规则下，113 个 DeepSWE 任务中的 29 个（25.7%）、13 个被审计的 SkillsBench 任务中的 3 个，以及两个被审计的 SWE-Marathon 任务都有欠指定的提示，表 6 列出了它们。因此，即便在提示从零撰写并经过作者审查的基准中，欠指定也会出现，并且它影响我们应用轻量途径的每一个基准。这些任务造成了表 3 中所指出的较低精度：在它们上面，一次偏离参考解的试验是否也违反了提示，本身就是含糊的，因此轻量途径和逐试验审计可以对同一次试验得出不同裁决。

案例研究。我们详细检查表 6 中的两个 DeepSWE 任务。在二者中，每一次被审计的试验都通过官方测试，轻量途径产生一项在参考解上通过、在每一次试验上失败的见证测试。然而两个见证都没有暴露试验的缺陷。每一个都固定了提示两种自洽读法中的一种，也就是参考解恰好实现的那种读法。

案例 1：textual-richlog-follow-state。该任务要求 Textual 的 Log 与 RichLog 部件在用户滚离最新条目之后保持用户的视口，并引入一个 is_following_end 标志、一个 follow_end() 方法，以及一条 FollowChanged 消息。提示陈述“当 auto_scroll 启用时，新的写入应当只在部件已经跟随末尾时才跟随”，但它从未定义 is_following_end 表示什么。两种读法仍然可用。在位置读法下，只要视口在末尾，标志就为真，而 auto_scroll 另行决定新的写入是否滚动视图。在有效跟随读法下，只有当自动跟随被启用并且视口在末尾时，标志才为真。每当 auto_scroll 被启用时两种读法一致，只在它被禁用时分歧，而这恰恰是限定语“当 auto_scroll 启用时”所留下开放的情形。参考解采用有效跟随读法：它从 auto_scroll 初始化该标志，并按 auto_scroll 与 is_vertical_scroll_end 刷新它。见证测试挂载一个空的 Log(auto_scroll=False) 和 RichLog(auto_scroll=False)，并期望两个标志都为 False。全部 30 次被审计的试验反而采用位置读法，报告 True，并失败。失败发生在写入任何内容之前，因此它只关系到标志的含义，而不是该任务所关于的滚动行为。官方测试只在 auto_scroll 启用时检查初始状态，而在那里两种读法产生相同结果。

案例 2：updo-policy-alerting。该任务为 Updo 增加基于策略的告警。一个被监控的目标在配置数目的连续失败之后进入宕机状态，并在配置数目的连续成功之后恢复，每一次评估返回一个携带事件、状态和当前计数器的决策。提示要求 target_recovered 只在连续成功检查之后发出，并且每一个返回的决策都与跟踪器状态匹配。它没有规定 ConsecutiveRecoveries 记录的是触发恢复的那一串，还是仅仅是尚未发生的恢复的进度，因此也没有规定计数器是在返回恢复决策之前被重置。这一省略很显眼，因为提示确实陈述了延迟违约计数器何时重置。见证测试把进入宕机状态配置为一次失败、把恢复配置为两次成功，并检查第二次成功所返回的决策。参考解递增计数器，在恢复时把它重置为零，然后才构造决策，因此它报告 ConsecutiveRecoveries = 0。全部七次被审计的试验都发出带有正确状态、先前状态和原因的 target_recovered，但报告已完成的连续次数 2，并失败。两种行为都给出跟踪器的一个自洽快照，而官方测试断言恢复决策的事件、状态和原因，却不断言它的计数器。案例 1 取决于对一块被命名状态的两种读法，而本案例取决于一种实现选择，即重置的时机，提示把这完全留给实现者。

讨论。在两个案例中，见证所检查的要求都是隐含的，并且该任务上每一个有通过试验的模型都跳过它，因此附录 A.2 的分类把它标为含糊。这些案例也表明，这类缺口弥合起来并不贵。对案例 1，一句话陈述 is_following_end 等于 auto_scroll 与 is_vertical_scroll_end，再加上禁用情形的一个验收例子，就消除了含糊。对案例 2，一句话陈述计数器在构造恢复决策之前重置，再加上上面的失败与恢复序列作为验收例子，作用相同。因此 TestJack 不予反驳的那些见证测试仍然有用：它们精确指出基准的提示应当在哪里被澄清。