观点：编码智能体基准应当匹配其用户的任务流

观点：编码智能体基准应当匹配其用户的任务流

Igor Slinko，Yaroslav Golubev，Sergey Titov

JetBrains Research

对编码智能体的评测，大体上都力求尽可能贴近真实。在这项研究中，我们收集了真实软件工程师在 JetBrains IDE 中的 4,782 次智能体会话，称之为生产会话（Production Sessions）。由于我们的对象是交互式智能体，我们研究的是至少包含三条用户消息的会话（占样本的 33%）。这些长会话与由 issue 派生的基准任务有两点不同：（i）用户请求覆盖的任务类型要宽得多——关于项目代码的提问、规划、评审、重构、执行；（ii）用户会在一次会话中在这些类型之间切换。来自三个公开交互语料的长会话样本，呈现出明显不同的任务流（Task Flow，即会话长度、任务类型，以及类型到类型的转移的分布），因此没有任何一种交互分布是普遍真实的：基准应当点名一个目标用例，并校准到对它的测量。我们提出 SWE-TaskFlow，一种变换任何由 issue 派生的基准的方法：它保留已验证的任务和测试，同时通过提示拆分和可验证的仓库问答，把交互导向目标任务流，并用任务流对齐分数（TaskFlow Alignment Score，TFAS）在生成的轨迹中做选择。在 700 个 SWE-Bench Pro 任务上的试点中，把任务分成若干步依次求解，大约使智能体成本翻倍，而解决率没有稳定变化：交互协议本身就是评测的一个重要维度。

图 1：左：由 issue 派生的基准（SWE-Bench Pro）把每个任务呈现为单条用户回合，几乎总是新功能或缺陷修复。右：至少包含三条消息的生产会话的任务流；节点是主要意图，连线宽度是转移频率。

1 引言

智能体评测这一领域的目标，是在真实场景中评估智能体。为了看清这样的场景可能是什么样子，我们的研究从获取真实软件工程师在 JetBrains IDE 中工作的 4,782 次智能体会话开始；我们称之为生产会话。在这些数据中，我们聚焦长交互切片：至少包含三条用户消息的会话（占样本的比例高达 33%）。我们用任务流来描述这样一份语料：会话长度、用户消息的任务类型，以及从一条消息到下一条消息的类型转移（形式定义见第 2 节）。关于这些会话的任务流，有两点观察推动了这项工作（图 1）。

第一，用户提示远比基准任务更多样。在 SWE-Bench Pro（Deng et al., 2026）（图 1 左图）中，新功能（54.7%）和缺陷修复（39.1%）占任务的 93.8%（标签来自第 2 节）；在生产会话中，同样这两种意图覆盖的用户消息远不到一半，其余则要求智能体解释项目代码、回答问题、做规划、做评审、做重构和执行。第二，用户在一次会话中会切换任务类型：以功能请求开场的会话，常常接着问现有行为、做一步规划，再提出评审请求。由 issue 派生的基准忽略了这一点：SWE-bench（Jimenez et al., 2024）及其后继，如 SWE-Bench Pro、SWE-rebench 和 DeepSWE（Deng et al., 2026; Badertdinov et al., 2025; Huang et al., 2026），交付一份详细的 issue，并给一份最终补丁打分。它们的基础设施和测试是有价值的，但它们的交互层——智能体收到的用户消息，以及收到这些消息的顺序——测量的是按事先写好的规格做实现，而不是适应在一次会话中逐步展开的需求。

要增加哪些类型的交互步骤，取决于你对准的是什么用户：我们还把分类器应用到三个公开交互语料（Baumann et al., 2026; Tang et al., 2026; DataClaw Contributors, 2026），并为每一个得到了看起来明显不同的任务流（附录 B）——在一个产品上测得的分布，不会转移到另一个产品。因此我们的立场是：不存在普遍真实的编码智能体基准；基准构建者应当陈述目标用例，测量它的任务流，并把基准的交互层校准到它。

贡献。我们的贡献是：（i）对长生产会话的任务流分析，使一份测得的交互分布成为设计目标；（ii）SWE-TaskFlow，一种把已验证的 SWE 任务变成可回放的多轮轨迹候选、同时保留原始需求和测试的方法；（iii）一种逐回合的评测设计，其中一个任务产出若干可验证信号，而不是单一的终局分数，并在 700 个 SWE-Bench Pro 任务上的试点表明，交互协议是一个真实的评测变量。所有生成的任务作为一份公开数据集发布（细节见附录 E）。

2 生产会话的任务流

数据与分类。一次生产会话，是开发者与 IDE 内编码智能体之间的一次对话。我们只分析其中用户的一侧：4,782 次会话中大约 14,000 条用户消息，收集自 JetBrains IDE 用户的日常工作。每条消息由一个开放权重的 LLM 独立分类为 16 种任务类型之一，或称意图（缺陷修复、新功能、解释、规划、代码评审、执行，等等）；定义经过人工复核迭代，三个分类模型在 76.1% 的标签上一致（分类体系、提示和稳健性检查见附录 A）。同一条流水线应用于生产会话、公开语料和基准提示，因此每一个分布都站在同一基础上。

任务流。形式上，语料级的任务流是一个三元分布 $(P_{L},P_{T},P_{R})$：（i）会话长度，（ii）消息上的任务类型，以及（iii）相邻消息之间的有向转移。转移分布保留了单靠标签直方图会丢失的顺序信息。

生产会话。在 4,782 次会话中（只作为匿名聚合统计来分析），50.9% 只包含一条用户消息，33% 至少有三条；第 75 和第 90 百分位是三条和八条消息（附录 A，图 3），首条消息平均 30.7 个词，其后位置是 16–19 个词。缺陷修复（25.9%）和新功能（18.9%）领先，但并不像在由 issue 派生的数据集里那样占主导。此后所有任务流分析都以这个长会话切片为条件。

关于项目代码的问答是一种常见意图。在长生产会话中，解释请求（关于项目代码如何工作的问题）占 6.1%，一般性编程问题另占 9.7%。解释是由 issue 派生的基准所缺少的意图；它在每一个位置上都仍然常见（图 1），并推动了第 3 节的问答增强。

公开语料有不同的任务流。我们把同一条流水线应用到 SWE-chat、SpecStory 和 DataClaw 的长会话样本（Baumann et al., 2026; Tang et al., 2026; DataClaw Contributors, 2026）。它们的任务流在意图和转移上，都与生产会话以及彼此明显不同（附录 B）：不存在作为地面真值的交互分布，目标必须在它自己的设定中测量。

3 SWE-TaskFlow：变换已验证的任务

为每一个目标新建一个交互式基准既昂贵，也会丢掉已有已验证 SWE 任务背后的投入（仓库状态、执行环境、基于测试的验证器）。因此 SWE-TaskFlow 是对现有由 issue 派生的数据集的一种变换，这里实例化在 SWE-Bench Pro 上：仓库、所请求的改动、环境和最终测试保持固定，交互层则被重新生成。相关变换（附录 D）也为了精确可回放而在推理之前固定轨迹；SWE-TaskFlow 的不同之处在于，把它们的形状校准到一份测得的任务流，而不是临时选定。

数据集增强。我们对现有任务提出两种增强。第一种，提示拆分，针对的是过度规格化：SWE-bench 风格的 issue 在一条打磨过的消息里陈述目标、上下文、约束，而且常常还有做法，而真实用户是逐步揭示需求的（第 2 节）。拆分把一条 issue 变成 $K$ 条有序的、自包含的用户回合（这里 $K{=}3$；相邻部分可以合并）。基于 LLM 的拆分器必须保留每一条原始需求，不引入新需求，逐字保留技术产物，并使每一回合在先前回合留下的仓库状态中可执行。通不过这些检查的 issue 保持单回合；731 个公开 SWE-Bench Pro 任务中，有 700 个在拆分和评测上下文检查之后被保留。第二种，仓库问答，生成零到三个关于仓库行为的可验证问题，注入基准所缺少的解释意图。问题的放置——在 issue 回合之前、之间或之后——决定出现哪些转移；两种增强合在一起，使每个任务有一到六条用户回合，其中至少三条的候选构成长会话切片。

问题从哪里来。问题从一条解决了原始 issue 的智能体轨迹中挖掘，并与当时的仓库状态一起阅读。每一个候选都带有隐藏的参考答案，必须能从仓库回答，在 issue 补丁之前和之后都仍然有效，不泄露解法，并在创建时于一份干净的仓库副本中通过可执行的证明脚本。评测时，智能体用文本作答，并对照参考答案评判（完整的生成方法和流水线见附录 E）。

测量对齐。为了使「更接近目标任务流」变得明确且可优化，我们提出任务流对齐分数（TFAS）。令 $P_{k}$ 和 $Q_{k}$ 分别为目标和基准在 $k\in\{L,T,R\}$ 上的分布：会话长度分箱、任务类型，以及相邻消息之间的有向转移。TFAS 使用 16 类中的 13 类——问候、元问题和其他不能实例化为仓库任务；转移在保留下来的消息上计算。使用以 2 为底的 Jensen–Shannon 散度，我们设 $S_{k}=1-\operatorname{JSD}_{2}(P_{k},Q_{k})$，以及 $\operatorname{TFAS}=100\cdot\left(S_{L}\cdot S_{T}\cdot S_{R}\right)^{1/3}$，其中每个 $S_{k}$ 位于 $[0,1]$，因此 TFAS 位于 $[0,100]$，100 表示三个分布完全匹配。候选选择在任务数量和多样性约束下，于生成的家族上最大化 TFAS，并且每一个分量都必须伴随汇总值一起报告（计算细节、优化后的选择和消融见附录 F）。

4 试点：交互层改变了测量

渐进式披露会改变难度吗？以 mini-swe-agent（Yang et al., 2024）作为共同脚手架，我们在同样的 700 个任务上、用四个模型评测了单轮（Single）和拆分（Split）提示。拆分大约使智能体成本翻倍（附录 H，图 11）。解决率的移动在模型之间有正有负，并且大体与逐次运行的波动相当，因此这些运行并不确立成功排序，但表明渐进式披露可靠地改变了智能体所花费的努力。

校准后的问答回合。调节问答回合的数量和位置，以使 TFAS 相对长会话生产目标最大化（图 2 中的 Split+QA），把 TFAS 从纯拆分的 59.6 提高到 77.8（附录 F，表 2；任务流见图 7）。校准后的问答回合在拆分之上增加了适度的成本；解决率在模型之间再次没有稳定排序（图 2），问答顺序对解决率或回答准确率也没有稳定效应（附录 H）。在所选基准上，四个模型的回答准确率跨度为 69.8–83.0%，这是与解决率并列的第二项已验证信号（附录 G）。

图 2：700 个任务上，解决率对每个 issue 的平均智能体成本（对数尺度）；标记是三次运行的均值，须线是最小–最大（不是置信区间）。

逐回合的已验证信号。一条单轮轨迹产出一个二元信号，而一条 Split+QA 轨迹在每个 issue 回合之后给出测试套件裁决（只对照迄今已揭示的需求打分），并在每个问答回合给出一次被评判的回答（附录 H，图 14）。更密的已验证信号支持更细粒度的诊断，以及基于排序的训练（Choi et al., 2026; Yari and Koto, 2026; Yu, 2026）。

5 讨论：走向更丰富的任务流

大多数用户意图仍然缺少增强。SWE-TaskFlow 目前覆盖实现类意图的提示拆分，以及解释的仓库问答（参见 SWE-QA、SWE Atlas、RepoProbe（Peng et al., 2026; Raghavendra et al., 2026a; Yang et al., 2026））。图 1 中的其余一切（一般性问题、规划、代码评审、重构、执行、不带修复的调试，等等）仍然需要自己的增强：一种在已验证任务上生成该意图回合、并检查回答的方法。其中大多数是开放问题：如何自动验证一个规划回合或代码评审回合，并不清楚。一份测得的任务流告诉我们，哪些增强缺失，以及各占什么比例。

静态交互与反应式交互是互补的体制。在推理之前固定全部用户消息，使精确回放和配对比较成为可能：SWE-TaskFlow 测量渐进式披露、记忆和适应，但不测量对智能体所作所为作出反应的反馈。附录 D 中的反应式基准（扣留需求、模拟用户、注入编辑、求助）测量的正是这一点，代价是模拟器假设和轨迹方差。一套完整的评测可以把校准过的静态核心与有针对性的反应式切片结合起来。

局限。长生产会话只定义一个用例，尽管该方法适用于任何测得的目标（附录 C）。意图分类器缺少一份人工标注的准确率集（附录 A：模型间一致率 76.1%，每种意图有人工抽查的样本）。有些 issue 难以拆分，问答难度依赖于生成器。最后，每个试点条件跑了三次，报告的是最小–最大范围，而不是置信区间；没有任何比较带有显著性检验，因此解决率的读数只是方向性的。

6 结论

一个交互式基准必须说明它代表的是谁的交互分布：真实用户混合并切换任务类型的方式，是由 issue 派生的基准所错过的，而公开语料也不能互相代表。SWE-TaskFlow 在保留已验证任务的同时补上这一缺口：拆分、可验证的问答，以及由 TFAS 选出的放置，把由 issue 派生的基准变成校准过的、可回放的多轮评测。

参考文献

• 完整条目，题名与出处已译：Badertdinov et al. [2025] Ibragim Badertdinov，Alexander Golubev，Maksim Nekrashevich，Anton Shevtsov，Simon Karasik，Andrei Andriushchenko，Maria Trofimova，Daria Litvintseva，以及 Boris Yangel。SWE-rebench：面向软件工程智能体的任务收集与去污染评测的自动化流水线。发表于第三十九届神经信息处理系统年会的数据集与基准轨道，2025 年。链接为 https://openreview.net/forum?id=nMpJoVmRy1。

• 完整条目，题名与出处已译：Baumann et al. [2026] Joachim Baumann，Vishakh Padmakumar，Xiang Li，John Yang，Diyi Yang，以及 Sanmi Koyejo。SWE-chat：来自真实用户野外使用的编码智能体交互。发表于第三届语言建模会议，2026 年。链接为 https://arxiv.org/abs/2604.20779。

• 完整条目，题名与出处已译：Choi et al. [2026] Kyuseong Choi，Dwaipayan Saha，Woojeong Kim，Anish Agarwal，以及 Raaz Dwivedi。GOPO：使用排序奖励的策略优化，2026。链接为 https://arxiv.org/abs/2602.03876。

• 完整条目，题名与出处已译：DataClaw Contributors [2026] DataClaw Contributors。Dataclaw：把智能体聊天历史发布为 Hugging Face 数据集的智能体脚手架。代码托管于 GitHub 仓库，2026 年。链接为 https://github.com/peteromallet/dataclaw。查阅日期为 2026 年 8 月 27 日。

• 完整条目，题名与出处已译：Deng et al. [2026] Xiang Deng，Jeff Da，Edwin Pan，Yannis Yiming He，Charles Ide，Kanak Garg，Niklas Lauffer，Andrew Park，Chetan Rane，Karmini Sampath，Maya Krishnan，Srivatsa R. Kundurthy，Sean M. Hendryx，Zifan Wang，Chen Bo Calvin Zhang，Noah Jacobson，Bing Liu，以及 Brad Kenstler。SWE-bench pro：人工智能智能体能解决长程软件工程任务吗？发表于第四十三届国际机器学习会议会议录，机器学习研究汇刊第 306 卷，第 23917–23934 页，PMLR，2026 年。链接为 https://proceedings.mlr.press/v306/deng26f.html。

• 完整条目，题名与出处已译：Garg et al. [2026] Spandan Garg，Benjamin Steenhoek，以及 Yufan Huang。挽救 SWE-bench：一种面向真实智能体评测的基准变异方法。发表于电气电子工程师学会与计算机协会第五届人工智能工程会议——面向人工智能的软件工程（CAIN），2026 年。doi: 10.1145/3793653.3793762。链接为 https://doi.org/10.1145/3793653.3793762。

• 完整条目，题名与出处已译：Huang et al. [2026] Wenqi Huang，Charley Lee，Leonard Tng，以及 Serena Ge。DeepSWE：在原始的长程工程任务上度量前沿编码智能体，2026。链接为 https://arxiv.org/abs/2607.07946。

• 完整条目，题名与出处已译：Jimenez et al. [2024] Carlos E. Jimenez，John Yang，Alexander Wettig，Shunyu Yao，Kexin Pei，Ofir Press，以及 Karthik R. Narasimhan。SWE-bench：语言模型能解决真实世界的 GitHub issue 吗？发表于第十二届国际学习表征会议，2024 年。链接为 https://openreview.net/forum?id=VTF8yNQM66。

• 完整条目，题名与出处已译：King and Flanigan [2026] Brendan King 与 Jeffrey Flanigan。Dialogue SWE-bench：面向对话驱动编码智能体的基准，2026。链接为 https://arxiv.org/abs/2606.13995。

• 完整条目，题名与出处已译：Laban et al. [2026] Philippe Laban，Hiroaki Hayashi，Yingbo Zhou，以及 Jennifer Neville。大语言模型在多轮对话中会迷路。发表于第十四届国际学习表征会议，2026 年。链接为 https://openreview.net/forum?id=VKGTGGcwl6。

• 完整条目，题名与出处已译：Peng et al. [2026] Weihan Peng，Yuling Shi，Yuhang Wang，Xinyun Zhang，Beijun Shen，以及 Xiaodong Gu。SWE-QA：语言模型能回答仓库级代码问题吗？发表于计算语言学协会 ACL 2026 的研究发现，2026 年。doi: 10.18653/v1/2026.findings-acl.402。链接为 https://aclanthology.org/2026.findings-acl.402。

• 完整条目，题名与出处已译：Raghavendra et al. [2026a] Mohit Raghavendra，Soham Dan，Miguel Romero Calvo，Yannis Yiming He，Johannes Baptist Mols，Gautam Anand，Cole McCollum，Edgar Arakelyan，Vijay Bharadwaj，Andrew Park，Jeff Da，MohammadHossein Rezaei，Bing Liu，Brad Kenstler，以及 Yunzhong He。SWE atlas：在 issue 解决之外给编码智能体做基准测试，2026a。链接为 https://arxiv.org/abs/2605.08366。

• 完整条目，题名与出处已译：Raghavendra et al. [2026b] Mohit Raghavendra，Anisha Gunjal，Aakash Sabharwal，以及 Yunzhong He。SWE-interact：把 SWE 基准重新想象为用户驱动的长程编码会话，2026b。链接为 https://arxiv.org/abs/2606.30573。

• 完整条目，题名与出处已译：Tan et al. [2026] Yuqiao Tan，Jinxiang Meng，Fangyu Lei，Minzheng Wang，Shizhu He，Jun Zhao，以及 Kang Liu。SWE-Touch：当用户触碰代码时给编码智能体做基准测试，2026。链接为 https://arxiv.org/abs/2608.02499。

• 完整条目，题名与出处已译：Tang et al. [2026] Ningzhi Tang，Chaoran Chen，Zihan Fang，Gelei Xu，Maria Dhakal，Yiyu Shi，Collin McMillan，Yu Huang，以及 Toby Jia-Jun Li。用聊天编程：对 11,579 次真实世界人工智能辅助 IDE 会话的大规模行为分析。发表于第四十一届电气电子工程师学会与计算机协会自动化软件工程国际会议会议录，2026 年。doi: 10.1145/3832783.3834377。链接为 https://arxiv.org/abs/2604.00436。

• 完整条目，题名与出处已译：Trinh et al. [2026] Tu Trinh，Mohamed Elfeki，Guangze Luo，Kelvin Luu，Nathan Hunt，Ernesto Hernández，Nandan Marwaha，Yannis Yiming He，Charles Wang，Fernando Carabedo，Alessa Castillo，以及 Bing Liu。HiL-Bench（人在回路基准）：智能体知道何时求助吗？，2026。链接为 https://arxiv.org/abs/2604.09408。

• 完整条目，题名与出处已译：Vijayvargiya et al. [2026] Sanidhya Vijayvargiya，Xuhui Zhou，Akhila Yerukola，Maarten Sap，以及 Graham Neubig。Ambig-SWE：用交互式智能体克服软件工程中的规格不足。发表于第十四届国际学习表征会议，2026 年。链接为 https://openreview.net/forum?id=X2yzXtH4wp。

• 完整条目，题名与出处已译：Wu et al. [2026] Yifan Wu，Zhuokai Zhao，Songlin Li，Ho Hin Lee，Jiacheng Zhu，Shirley Wu，Tianhe Yu，Serena Li，Lizhu Zhang，Xiangjun Fan，以及 Shengzhi Li。SWE-together：在交互式用户会话中评测编码智能体，2026。链接为 https://arxiv.org/abs/2606.29957。

• 完整条目，题名与出处已译：Yang et al. [2024] John Yang，Carlos E. Jimenez，Alexander Wettig，Kilian Lieret，Shunyu Yao，Karthik R. Narasimhan，以及 Ofir Press。SWE-agent：智能体–计算机接口使自动化软件工程成为可能。发表于第三十八届神经信息处理系统年会，2024 年。链接为 https://arxiv.org/abs/2405.15793。

• 完整条目，题名与出处已译：Yang et al. [2026] Yuexi Yang，Alyssa Wu，Ji Luo，Richeng Xuan，Zhichao Hu，Yuhong Liu，以及 Zhen Qin。RepoProbe：用检查清单给具备架构意识的仓库理解做基准测试。发表于第四十一届电气电子工程师学会与计算机协会自动化软件工程国际会议会议录，2026 年。doi: 10.1145/3832783.3837452。链接为 https://arxiv.org/abs/2608.04783。

• 完整条目，题名与出处已译：Yari and Koto [2026] Amir Hossein Yari 与 Fajri Koto。AMIR-GRPO：把隐式偏好信号引入 GRPO，2026。链接为 https://arxiv.org/abs/2601.03661。

• 完整条目，题名与出处已译：Yu [2026] Hao Yu。统一的 pair-GRPO 家族：从隐式到显式偏好约束，以实现稳定且通用的强化学习对齐，2026。链接为 https://arxiv.org/abs/2605.06375。

附录 A 任务分类体系与分类

本附录记录论文中每一个任务流是如何产生的：分类流水线、带有提示节选的完整 16 标签分类体系、一次模型间稳健性检查，以及已分类会话的汇总统计。

分类流水线。每条用户消息由一个开放权重的 LLM（Gemma 4-31B）独立分类，它收到消息文本以及下面的标签定义，并作为结构化输出恰好返回一个 task_type；当一条消息包含若干请求时，分类器指定占主导的可执行意图。同一条流水线、同一条提示和同一套定义应用于生产会话、三个公开交互语料和基准提示，因此论文中的每一个任务流都在同一基础上计算。分类体系本身扎根于工业实践：它起源于 JetBrains 用来分析生产助手使用情况的一种意图分类，我们把它合并为下面的 16 个标签。我们选择它而不是已发表的分类体系，是因为它直接对照我们所研究的那种 IDE 会话做过迭代，并且它把 IDE 特有的意图——执行、关于助手本身的元问题——与仓库任务分开。在提示开发期间，作者人工复核了分类样本，修订了含糊的标签说明，并重新跑了流水线；下面报告一次定量的模型间稳健性检查。

tests 编写或扩展测试覆盖。修复一个已经失败的现有测试属于 bug-fix 或 debug。bug-fix 修复一个现有的错误、缺陷或异常。一条光秃的栈追踪默认算作修复。new-feature 增加新功能。generate-docs 编写文档、注释或 README 文件。refactor 在不改变行为的前提下改进同一种语言的代码结构。transformation 在格式、语言、库版本或范式之间转换代码。debug 调查某件事为什么失败，而不去修复它。planning 规划一项改动、设计一种做法，或评估一份计划或规格。explain 解释用户项目中的特定代码如何工作。question 提出一个一般性的编程、框架、库或工具问题。meta-question 询问助手、IDE、配额、账单或环境。code-review 按风格、正确性或性能评审特定改动。execute 运行一条命令、构建、测试、查询、部署或外部动作。data-analysis 分析数据，或构建并解释查询、图表或指标。greeting 除问候、ping 或无意义输入之外不提供编程内容。other 提供残余的非编程内容，例如感谢或反馈。

提示节选。分类器一次接收一条用户消息。提示中任务类型的部分是：对编码助手会话中一条开发者消息的主要意图分类。恰好指定一个 task_type。聚焦用户要求助手做什么，而不是话题、语言或解法。如果消息包含若干请求，选择占主导的可执行意图。只使用所提供分类体系中的一个标签，并返回所要求的结构化输出。

模型间稳健性。为估计标签在多大程度上依赖于分类器的选择，我们用三个开放权重模型对同样的 100 次会话做了分类：Qwen 3.6-35B、Gemma 4-31B 和 GPT-OSS 20B。task_type 上的成对精确一致率分别为 79.2%、73.7% 和 75.5%，均值为 76.1%（表 1）。这测量的是模型间稳健性，而不是准确率：没有可用的正式人工标注测试集。

表 1：在同一份 100 次会话样本上，task_type 的精确一致率。

会话统计。图 3 汇总已分类样本：生产会话按用户消息条数的分布。

图 3：生产会话按用户消息条数。论文通篇研究的长会话切片，把至少三条消息的所有分箱汇总在一起。

附录 B 公开交互语料中的任务流

我们把附录 A 的分类流水线应用到三个公开交互语料的长会话样本（至少三条用户消息），每个语料 1,000 次已分类会话。SpecStory（图 4）由《用聊天编程》[Tang et al., 2026] 所分析的、公开的 IDE 原生会话导出组成：在三个语料中，它的任务流最接近生产会话，但规划所占份额更大。DataClaw（图 5）收集社区分享的编码智能体会话导出 [DataClaw Contributors, 2026]：它由执行和短的操作性回合主导。SWE-chat（图 6）是来自基于聊天的编码设定的交互语料 [Baumann et al., 2026]：执行和规划主导它的流。这些语料是比较数据集；论文的校准目标仍然是生产会话。它们的收集机制、用户群体和产品都不同，因此这些图支持一个定性主张：交互分布取决于来源，它们之中没有一个是地面真值。对编码会话的大规模行为分析已有先例——《用聊天编程》刻画了 11,579 次真实世界人工智能辅助的 IDE 会话 [Tang et al., 2026]；我们的任务流分析所增加的，是转移视角，以及把它用作基准的校准目标。

图 4：SpecStory 长会话任务流：1,000 次已分类会话中至少有三条消息的 521 次的前五条用户消息；完整的 16 标签分类体系。

图 5：DataClaw 长会话任务流：1,000 次已分类会话中至少有三条消息的 585 次的前五条用户消息；完整的 16 标签分类体系。

图 6：SWE-chat 长会话任务流：1,000 次已分类会话中至少有三条消息的 698 次的前五条用户消息；完整的 16 标签分类体系。

附录 C 校准到一个新目标

本附录把第 2–3 节的校准方法变成面向一个新目标的分步程序。对每一步，我们陈述什么进入、什么出来，我们在本文中如何实例化它，以及在不同领域工作的基准构建者必须重新决定什么。该程序假设来源基准具有已验证任务（仓库状态、环境、测试），其交互层将被重新塑形；它并不假设来源基准与目标共享一个领域。

1. 1. 点名目标。一个目标是一个用户群体、一个产品表面、一个会话过滤器和一个测量窗口。我们的：日常工作中的 JetBrains IDE 用户，至少有三条用户消息的会话，一份 4,782 次会话的样本。过滤器是定义的一部分：同一份样本若过滤器是至少一条消息，就会由单消息会话主导（50.9%），并产生不同的任务流。随着产品和模型变化，任务流也会漂移，因此一个目标应当带上它的测量日期，校准到它的基准应当陈述该日期。新领域：群体和过滤器应当匹配基准所要回答的问题（例如，至少有一次工具调用的终端智能体用户，或长于十个单元格的数据科学笔记本会话）。从另一个产品借用目标并不是捷径：附录 B 中的三个公开语料彼此不同，也与生产会话不同。

2. 2. 抽样用户侧消息。只需要用户的消息——不要智能体输出，不要代码，不要工具日志——这使收集保持便宜，并限制隐私暴露。我们的：4,782 次会话中大约 14,000 条用户消息，只做聚合分析。新领域：样本必须大到使转移分布稳定；13 个保留标签加上开始/结束，转移的支撑大约有 200 个格子，其中大多数是稀有的。用自助法重抽样完整会话，并在固定目标之前检查附录 F 的分量分数 $S_{k}$ 是否稳定；若不稳定，就扩大样本或粗化分类体系。

3. 3. 用固定的分类体系分类。每条消息从一套在测量之前冻结定义的分类体系中恰好得到一个标签。我们的：附录 A 的 16 标签分类体系、提示和开放权重分类器，在 100 次会话上的平均成对模型间一致率为 76.1%。新领域：尽可能复用分类体系并扩展而不是替换，以便为不同目标测得的任务流仍然可比；每一个新标签必须被标成能否作为仓库任务实例化，因为只有可实例化的标签进入 TFAS。在测量之前，至少在 100 次会话上跑模型间检查；低一致率表示标签定义含糊，应当在目标固定之前修订并重跑，而不是事后纠正。

4. 4. 测量目标任务流。完全按附录 F 计算 $(P_{L},P_{T},P_{R})$：长度分箱、保留标签上的任务类型，以及在滤掉不可实例化消息之后带有显式开始/结束边的有向转移。我们的：长会话生产目标（图 1，右）。新领域：把三个向量与基准一起发布。它们是校准目标，它们让别人能重新计算 TFAS 及其分量，而且它们是不揭示单次会话的聚合统计。

5. 5. 找出缺口。用来源基准的提示跑同一条流水线，得到它自己的任务流 $(Q_{L},Q_{T},Q_{R})$，并逐分量与目标比较。目标中常见但在基准中稀少或缺失的每一种任务类型，以及目标中出现但基准无法产生的每一种会话长度，都需要一种仍然可验证的增强。我们的：SWE-Bench Pro 是单回合，并且 93.8% 是新功能或缺陷修复，因此长度缺口由提示拆分补上，解释缺口由仓库问答补上；其余缺口——question、planning、code-review、refactor、execute、debug——在第 5 节列为未覆盖。新领域：缺口表就是增强的待办清单，按每个缺失意图在目标中的频率排序。没有验证器的意图应当被报告为未覆盖，而不是用一个不可验证的回合去近似。

6. 6. 生成候选家族并选择。对每一个已验证任务，枚举增强的可接受组合（这里：拆分回合的合并级别、问答回合的数量、它们的放置），然后在任务数量和多样性约束下，为每个任务选择一个候选，以相对目标最大化 TFAS。我们的：附录 F 的随机局部搜索，分量分数与汇总值一起报告（表 2）。新领域：在把优化器沿某个维度的自由度放开之前，检查沿它移动不会改变任务难度；我们的问答放置消融（附录 H）就是对放置的这一检查。没有它，更高的 TFAS 可能是靠改变基准所测量的东西买来的。

7. 7. 把压力测试分开。任何最大化与观测频率对齐的选择，都会把稀有意图推向零。在目标中稀有但对产品有后果的意图——破坏性的执行命令、与安全相关的代码评审——应当作为显式的压力测试切片来评测，有自己的任务数量，并与校准过的核心分开报告。我们的：所发布的数据集把每一个实验条件保持为单独的划分，SWE-chat 消融（表 3）与按生产校准的选择分开报告。新领域：在优化之前决定哪些稀有意图重要，以便它们的切片是有意构建的，而不是从优化器丢弃的东西里回收。

如果没有生产数据可用，最接近的公开交互语料（附录 B）可以充当临时目标，只要这种替代被明确陈述；TFAS 仍然给出一个可测量的距离，一旦有了生产测量，目标就可以被替换。

附录 D 已验证任务的相关变换

SWE-TaskFlow 建立在一族不断增长的工作之上，这些工作在现有已验证任务之上增加一个交互层，而不是收集新任务。我们把它们分成三个家族。

静态变换在推理之前固定用户消息，正如我们所做的。把一个任务分片分解成固定的提示序列，已在 HumanEval 和 LiveCodeBench 上研究过，其中渐进式披露一致地改变了所测得的表现 [Laban et al., 2026]，而《挽救 SWE-Bench》降低 issue 文本的具体程度，同时保持交互为单回合 [Garg et al., 2026]。这些变换临时选择轨迹形状；没有一个把所得的交互分布校准到一个测得的用户群体，而这正是 SWE-TaskFlow 所针对的缺口。

反应式设计让环境对智能体作出响应，而不是事先固定消息。Ambig-SWE 和 Dialogue SWE-Bench 扣留需求，并在智能体询问时揭示它们 [Vijayvargiya et al., 2026, King and Flanigan, 2026]；SWE-Interact 和 SWE-Together 使用由 LLM 模拟的用户来回答澄清问题 [Raghavendra et al., 2026b, Wu et al., 2026]；SWE-Touch 在轨迹中途把用户编辑注入仓库 [Tan et al., 2026]；HiL-Bench 研究智能体何时寻求人类帮助 [Trinh et al., 2026]。反应式设计测量对反馈的适应，但放弃精确可回放：同一任务的两次运行可能看到不同的用户消息（第 5 节对比这两种体制）。

仓库问答基准把关于代码库的问答当作一项独立任务来评测：SWE-QA、SWE Atlas 和 RepoProbe 提供互补的设计 [Peng et al., 2026, Raghavendra et al., 2026a, Yang et al., 2026]。SWE-TaskFlow 以不同方式使用仓库问答——作为插入更长轨迹内部的回合，并用创建时的证明脚本保证每个问题都能从仓库回答。

附录 E 生成与验证流水线

图 7 在基准层面上对比来源基准的交互层与变换结果，图 8 展示插入问答之前纯拆分轨迹的中间任务流，图 9 展示完整的生成、组装、推理和验证流水线。

提示拆分契约。拆分器收到一份 issue 描述，并首先决定三条有意义的、有序的用户回合是否可能。然后它抽出具体性单元、子任务单元和逐字的技术产物，再写出序列，并做一次基于模型的最终完整性检查。一次合格的分解必须保留每一条原始需求，不引入新需求，保持技术产物不变，避免提及分解过程，并使每一回合在先前回合产生的仓库状态中可执行。不合格的原子 issue 保持单回合。图 8 展示所得拆分轨迹的任务流。

问题生成契约。生成器阅读一条先前的求解轨迹和对应的当时仓库状态，抽出稳定的跨文件行为，并提出一到三个带有参考答案和证据链的问题。问题必须能从仓库回答，在 issue 补丁之前和之后都仍然有效，并避免揭示 issue 的解法。在当前流水线中，生成在 Codex 中使用 Sol 或 Terra 运行：TFAS 优化后的选择以及 Split+QA 结果使用 Sol 生成的池——700 个任务中的 255 个上共 454 个问题（附录 F）——而 64 任务的放置消融使用 Terra 生成的问题（附录 H）。另一次单独的模型检查清晰度和仓库支持。可执行的证明脚本是强制的创建时仪器：对每个候选问题，流水线生成一个参考脚本，在干净环境中执行它，检查它产出证据且不修改仓库，并只保留证明通过的候选。这一要求划定了可接受的问题空间——没有可观测证据的问题，例如一项架构决策的理由，按构造被排除。

推理与 issue 评分。所有报告的推理运行都在隔离的 Harbor 任务环境中使用 mini-swe-agent。智能体收到来源仓库的检出，以及完整的、有序的带类型提示序列，但没有参考答案或验证产物。用户回合在一次对话内依次交付。智能体可以在 issue 回合期间编辑并测试仓库，脚手架记录补丁检查点。最终回合之后，来源基准的 tests/test.sh 在同一个已打补丁的沙箱中评估累积补丁，而不重置仓库。问答的回答被分开存储，从不进入 issue 补丁。

问答验证。回答评分使用 Codex 中的 GPT-Sol，把提交的回答与隐藏的参考答案及其证据链相比较。原始 issue 测试和创建时的证明执行提供确定性证据，但最终的问答正确性仍然由模型评判。

所发布的数据集。本文使用的全部生成任务作为 Hugging Face 上的一份公开数据集发布，https://huggingface.co/datasets/JetBrains-Research/SWE-TaskFlow-SWE-Bench-Pro，覆盖同一个有序的 700 任务 SWE-Bench Pro 子集；每个实验条件是一个单独的划分。single_prompt、split_prompt 和 split_prompt_concat 划分包含仅提示的 Single、Split 和 Concat 条件（见附录 H）。其余划分包含 Terra 和 Sol 问题池的 QA-first／-last／-random 放置以及 QA-only 变体，外加附录 F 的 TFAS 优化选择；每个问题都附带其参考答案（对受评智能体隐藏）、黄金证明脚本，以及创建时的证明执行报告。内容哈希和来源清单使每一个实验条件都精确可回放。该数据集包含有序的用户提示和验证产物，不包含智能体运行。来源仓库、黄金补丁和验证器测试不被再分发，仍随原始 SWE-Bench Pro 发布 [Deng et al., 2026]。

图 7：SWE-Bench Pro 的任务流（左）与 TFAS 优化选择的任务流（右）——表 2 所报告的、TFAS 为 77.8 的配置：每个 issue 的一条用户提示变成跨越不同任务类型的多条顺序提示。仓库、所请求的改动和最终基于测试的验证器不变。

图 8：三路提示拆分之后的任务流。拆分增加轨迹长度，并暴露出原先隐含在原始 issue 中的若干意图。

图 9：完整的生成、组装、推理和验证流水线。参考答案和证明产物对受评智能体保持隐藏。

附录 F TFAS 细节与数据集调优

TFAS 比较三对分布：对每个分量 $k\in\{L,T,R\}$——会话长度分箱、任务类型和有向转移——$P_{k}$ 是在长生产会话上测得的目标分布，$Q_{k}$ 是基准候选轨迹上的对应分布。第 3 节定义的分数是

$$S_{k}=1-\operatorname{JSD}_{2}(P_{k},Q_{k}),\qquad\operatorname{TFAS}=100\cdot\left(S_{L}\cdot S_{T}\cdot S_{R}\right)^{1/3},$$

(1)

其中，对共享支撑上的两个分布 $P$ 和 $Q$，令 $M=(P+Q)/2$，

$$\operatorname{JSD}_{2}(P,Q)=\tfrac{1}{2}\operatorname{KL}_{2}(P\\|M)+\tfrac{1}{2}\operatorname{KL}_{2}(Q\\|M).$$

(2)

我们使用长度分箱 $1,2,3,4,5,6$–$10$，以及 $11+$。对当前目标，低于三的分箱目标质量为零，少于三回合的候选轨迹充当消融基线。任务分布定义在排除 greeting、meta-question 和 other 之后保留的 13 个标签上，这三者不能实例化为仓库任务。我们在构造转移之前去掉那些消息，因此两条保留消息之间被排除的回合被跳过，保留消息变成相邻。转移分布包含所得的有序对，以及每条过滤后序列周围的显式开始/结束边。这一过滤只适用于 TFAS；论文中的桑基图未过滤，并保留全部 16 个标签，以透明展示来源数据。三个分布各自独立归一化。当一个分布给某个事件赋予零质量时，Jensen–Shannon 散度仍然有限，但稀有转移仍然可能不稳定；因此自助区间应当重抽样完整会话，而不是单条边。

对每一个已验证的来源任务，生成的候选集包括原始的单条提示、由合并相邻拆分提示形成的一到三个 issue 回合、零到三个可用的问答回合，以及所选问答回合的有效放置。长切片调优把这个集合过滤到至少三回合的轨迹，然后为每个来源任务选择一个候选，以相对长会话生产目标最大化 TFAS。分量分数和完整的候选选择配置应当伴随每一个 TFAS 汇总值。

TFAS 优化选择。问题池包含 467 个经过验证的、由 Sol 生成的问题，覆盖 700 个可拆分 SWE-Bench Pro 任务中的 255 个。一次随机局部搜索（64 次重启，至多 20 轮扫描，固定种子）对每个任务决定保留多少个问题以及把它们放在哪里，相对长会话生产目标最大化式 (1)；没有问题的 445 个任务保持它们的三个 issue 回合。优化器保留了 467 个问题中的 454 个，给 113 次会话增加一个问题，85 次增加两个，57 次增加三个。所选放置混合了所有模式：67 次会话只在 issue 回合之前携带问题，86 次只在之后，102 次交错；按槽位，151 个问题位于第一个 issue 回合之前，133 个位于 issue 回合之间，170 个跟在最后一个之后。表 2 报告所得对齐：加入问答使每一个分量都高于纯拆分，固定放置已经达到 TFAS 75.6–77.1，而优化数量和放置主要增加的是转移对齐，最终 TFAS 为 77.8，相对单独拆分的 59.6。原始单回合提示相对三消息目标的 $S_{L}{=}0$（它们的长度分箱目标质量为零），这使几何平均坍缩为零。

表 2：相对长会话（$\geq$3 条消息）生产目标的 TFAS 及其分量，在同样的 700 个可拆分 SWE-Bench Pro 任务上计算。Split 保持三个 issue 回合；问答各行把 Sol 生成的问题放在固定位置；TFAS-optimized 按任务选择问题数量和放置。

表 3 另外保留了一次更早的、对照 SWE-chat 的固定变体消融（64 个任务，Terra 生成的问题）：校准到不同目标会偏好不同变体，这正是目标必须被陈述的原因。

表 3：对照 SWE-chat 的 TFAS 消融，分开报告，因为它不是本文的校准目标。所有值都是同样 64 个来源任务上的百分比。

附录 G 问答的回答准确率

评测时，智能体用文本回答每一个仓库问题，回答对照隐藏的参考来评判（附录 E）；回答准确率是被判为正确的问题所占比例。图 10 在目标基准本身上测量它：携带 Sol 生成问题池的 TFAS 优化 Split+QA 轨迹（700 个任务中的 255 个上共 454 个问题；附录 F），用与图 2 相同的四个模型和运行来评测。每个模型从同一批轨迹贡献两个点——其问题上的回答准确率，以及同样这些带问答评分的 issue 上的解决率——因此每条轨迹既产生补丁结果，也产生问答结果。图中的一切都在这 255 个带问题的 issue 上计算，而不是在全部 700 个任务的集合上。

四个模型的回答准确率从 69.8%（GPT-5.4 Mini）到 83.0%（GPT-5.6 Terra）。我们把两个指标并排放在一起，是因为它们来自同一批轨迹，而不是为了主张它们之间有任何关系。

图 10：对带有 Sol 生成问题的 TFAS 优化 Split+QA 轨迹，回答准确率（实心）和解决率（空心）对智能体成本；每一对竖点来自同一个模型的同一次运行。两个指标都在携带问答问题的 255 个 issue 上计算，而不是全部 700 个任务，因此解决率不能与图 2 直接比较。

附录 H 补充实验结果

协议。模型是 GPT-5.6 Luna、GPT-5.6 Terra 和 GPT-5.4 Mini，全部以 mini-swe-agent 在 Harbor 中运行，推理力度设为 medium；图 2 另外包含 Gemini 3.7 Flash。它的 Single／Split／Split+QA 比较使用全部 700 个任务，每个模型和每种模式三次运行。Concat 把三个拆分片段放在一条消息里交付，每个 GPT 模型有一次可用的 700 任务运行。因此图 11 把 Single 和 Split 的三次运行汇总与单次运行的 Concat 点合在一起；这些比较是描述性的，不是显著性检验。中间检查点结果报告于下。

Concat 消融（信息保持）。自动分解可能丢失或扭曲原始 issue 中的信息；若真如此，任何拆分效应都会把交互协议与改写产物混在一起。Concat 对照去掉这一混淆：它交付与 Split 相同的三个改写片段，但拼成一条消息。因此 Single 与 Concat 之间的差距测量改写所引入的信息变化，而 Concat 与 Split 之间的差距隔离顺序披露本身的效应。图 11 展示全部三种条件。

问答放置消融。放置塑造转移分布，而 TFAS 优化把问题移到目标任务流所要求的任何位置；在允许这样做之前，我们检查单凭位置是否改变任务难度。第 3 节的放置策略，对一次把 issue 回合和问答回合组合起来的会话，承认三种策略：QA-first 把全部问题放在 issue 回合之前，QA-last 把它们放在之后，QA-random 把它们交错在随机位置。消融在每一种条件中使用同样的 64 个实例和 114 个 Terra 生成的问题；只有阶段顺序不同，因此比较隔离的是顺序，而不是加入问答的效应（这些任务不存在匹配的无问答运行）。策略之间的解决率差异在模型之间没有一致的排序，并且与逐次运行的波动相当（图 12）。这就是 TFAS 优化所依赖的许可：在所测试的范围内，把问题挪来挪去会改变所测得的任务流，而不改变底层任务有多难。同样这些放置下的回答准确率，GPT-5.4 Mini 为 78.1–86.8%，GPT-5.6 Luna 为 86.6–93.8%，GPT-5.6 Terra 为 93.8–98.2%（图 13）。放置使准确率移动几个点，在模型之间没有一致方向，因此我们把问题放置读成对回答准确率也没有真实效应。一个 QA-only 条件，其中轨迹只包含问题回合、完全没有 issue 回合，成本只是任何混合轨迹的一个分数，并且用 Luna 仍然达到 86.8%，与它的 QA-random 准确率相当：这些问题不需要任何 issue 工作就能回答，正如生成契约所要求的（每个问题必须在 issue 补丁之前和之后都仍然有效）。

检查点级信号。拆分轨迹允许中间验证：在每个 issue 回合之后，脚手架对仓库状态做快照，并重新运行原始测试套件，从而在每一个检查点得到解决率和测试通过率，而不是单一的终局分数。图 14 为放置消融的运行画出这两个指标，在干净仓库上以及第一、第二和第三个 issue 回合之后测量，既有汇总也有按模型。由于问答回合从不修改仓库，QA-last 这一臂同时充当仅拆分的基线：它的全部问题都跟在 issue 回合之后，因此它的检查点测量的是纯粹的拆分，完全没有问答的影响。在每一个检查点，对每一个模型以及在汇总上，三条放置曲线几乎彼此重合：在这一场景中，无论是插入仓库问题还是它们的位置，都没有可测量地改变中间的解决率或测试通过率，而两个指标都随着 issue 回合的累积稳定增长——这正是交互层被设计来暴露的逐回合信号。

图 11：解决率对每个 issue 的平均智能体成本（对数尺度）。Single 和 Split 的标记是 700 个任务上三次运行的算术均值；须线分别展示观测到的成本与解决率的最小–最大，不是置信区间。每个 Concat 标记是一次 700 任务的运行，因此没有须线。

图 12：在同样的 64 个任务和 114 个问题上，QA-first（圆）、QA-last（方）和 QA-random（菱）的解决率对智能体成本；颜色编码模型。条件之间只有阶段顺序不同。

图 13：在同样的 64 个任务和 114 个 Terra 生成的问题上，回答准确率对每个 issue 的智能体成本。颜色编码模型，形状编码问答回合的放置；QA-only 只交付问题回合，完全没有 issue 解决回合。

图 14：在三种问答放置下，干净仓库上以及三个 issue 回合各自之后的检查点级解决率（左）和测试通过率（右），既有汇总也有按模型。问答回合不修改仓库，因此 QA-last 同时充当仅拆分的基线。这些放置在每一个检查点都几乎不可区分，而两个指标都随着每个 issue 回合稳定增长。

附录 I 伦理考量与更广泛的影响

只报告来自生产会话的聚合统计；论文不包含会话文本或用户标识，原始会话也不发布。任务流分析限制在长会话切片，而全样本只用于流行度统计。公开交互语料被引用，并且只通过聚合图来呈现。所发布的任务数据集（附录 E）只包含从公开的 SWE-Bench Pro 任务派生的内容以及模型生成的回合；没有用户数据进入它们。更好的交互层评测可以改进智能体可靠性，并揭示被终局分数藏起来的用户努力。负面效应包括额外的推理成本、来自运营数据的隐私风险，以及匹配频繁行为可能过度加权嘈杂或低价值工作流的可能性。我们通过报告聚合、保留现有已验证任务、把代表性混合与有针对性的压力测试分开，以及把模型生成的分类视为临时的，来缓解这些风险。

LLM 的使用。LLM 是核心的方法论组件：它们分类用户消息意图，判定拆分资格，生成有序的提示片段，抽取仓库事实，生成问题和参考答案，复核候选，并在问答协议中评判回答。可执行的任务测试和创建时的证明执行提供非文本证据，但它们并不消除分类和生成对模型的依赖。