会话级正确率不到 5%：百度 CypherTurn 测的是多轮 Cypher，不是单条查询

会话级正确率不到 5%：百度 CypherTurn 测的是多轮 Cypher，不是单条查询

CypherTurn 是第一套面向多轮对话的 Text-to-Cypher 评测基准。Text-to-Cypher 指把自然语言问题写成 Cypher，也就是 Neo4j 一类属性图数据库使用的查询语言。论文 arXiv:2609.36987 的页面提交日是 2026 年 9 月 29 日，许可证为 CC BY 4.0。作者是 Yuzhe Zhang、Weijie Zhu、Haolin Yang、Ziyun Zhang、Xianwei Xue、Mengke Chen、Qiutong Pan、Huaqian Cai。HTML 把 Weijie Zhu、Xianwei Xue、Mengke Chen、Qiutong Pan 标在 Baidu Inc.，其余作者在北京大学和国家数据空间技术与系统重点实验室。通讯作者是北京大学的 Huaqian Cai。这不是百度单方技术博客。代码和数据在 https://github.com/BarryQ/CypherTurn 。被测名单里的 ERNIE-5.0 是百度模型，和「百度是作者机构之一」要分开看。

作者的起点是：分析师不会只问一个自洽的问题。先问去年哪些部门人数最多，再问这些团队做了哪些项目，再问项目服务了哪些客户。后一句里的「这些」「他们的」必须对着上一轮的结果集来解。已有的 CypherBench、ZOGRASCOPE、SM3-Text-to-Query、Text2GQL-Bench 都是单轮，平均每会话 1.0 轮。MTGQL 是多轮，但目标语言是 nGQL，不是 Cypher，平均 6.5 轮，而且没有上下文指代评测，也没有自主代理协议。Think-on-Graph、Reasoning on Graphs、PankRAG 仍假设问题本身是完整的。

基准怎么造：721 个会话，5,927 轮

CypherTurn 有 721 个会话、5,927 轮，盖 7 个知识图谱、13 种对话现象。平均每会话 8.2 轮。721 个首轮不带现象，带现象的轮次是 5,206。对比表里，只有它同时具备多轮、Cypher、上下文指代评测和代理协议。

七个图都是合成世界，正确答案必须从图里算出来，不能靠常识背。三张图考结构：Ancient Empire 是有向环，边上有稠密数值；Ocean Kingdom 是菱形汇合，路径会歧义；Magic Academy 是二分环，实体解析要在结构歧义下做准。两张图考递归：Arcane Archive 有引用环，可以做递归多跳；Celestial Court 是官僚层级，官员监督官员，深度不固定。另外两张：Stellar Colony 是树状层级加同级派系之间的横向同盟；Merchant Harbor 用一张中心发票节点连接交易者、买家和仓库，边上有丰富数值。完整模式在附录 D.1，正文没有再列节点数。

13 种现象分四类，细目定义在附录，正文点名的包括：导航类的 PIVOT，先按属性排序再向外遍历；过滤类的 REFINE 和 FILTER，都收窄上一轮结果，现象层区分这是新过滤还是在收紧已有约束；聚合类的 Agg_Max、Agg_Avg；话语类里，一种取上一轮结果的逻辑补集（Contrast），另一种是全新的独立问题，也是分类法里唯一不依赖前轮的现象。图注还说明，名为 First 的现象指的是「先排序再选取」这种导航，不是会话的第一轮。

链模式是更粗的一层，共 9 种，描述这一轮在结构上怎么依赖上一轮，和 13 种语言现象不是一一对应。两种不依赖前轮：none（只出现在第一轮）和 topic_shift。七种依赖前轮：expand（从前轮结果向外一跳）、pivot（先排序再遍历）、agg_numeric（对前轮集合做数值聚合）、aggregate（计数）、contrast（逻辑补集）、value_narrow（数值阈值）、narrow（类别属性过滤）。FILTER 和 REFINE 都映射到 narrow。

每个会话从 10 种人设里近似均匀抽一种：记者、学生、产品经理、新手、数据分析师、休闲用户、没耐心的高管、对抗用户、非母语者、话多的用户。人设只改变说法，作者明确说它不是单独验证过的实验因子。721 个会话上十种人设接近均匀。

问句先按现象模板和人设、前轮上下文程序生成，再用 DeepSeek-V3.2 按风格改写。自主协议里的用户模拟器也是 DeepSeek-V3.2，配人设系统提示。DeepSeek-V3.2 同时出现在改写、模拟和被测名单里，原文没有单独报这会不会抬高或压低它自己的分。

人工审核两阶段。两名熟悉 Cypher 的标注员独立看每一轮，三条标准：黄金 Cypher 是否抓住问句意图；跨轮指代是否无歧义；说法是否自然、是否符合人设。标成 revise 的要改完，再拿到在线 Neo4j 上执行。全部 5,927 轮上，接受或拒绝的标注员间一致性 κ 为 0.83。大约 4.1% 的轮次需要修订，2.3% 的候选会话被整段拒绝。留下的黄金查询都单独验证过能在对应图上执行正确。

两套协议，五类动作，四项指标

引导协议把纯生成能力和管历史的能力拆开。每一轮模型看到图模式、此前所有轮的黄金问句和黄金执行结果，以及当前问句。每轮最多 3 次动作，用来逼它直接生成。这是有标准答案上下文时的上限，错误不会顺着历史传下去。

自主协议不给标准答案上下文。模型要自己发现模式、记下自己的预测，并管理整段会话的共享动作预算 B = T × m。T 是轮数，m 取 3、5 或 10。×3 时平均每轮 3 次，但可以把次数挪到某一轮。模型调用 ASK_USER 时，由带人设的模拟器回答。早轮写错会改掉后面每一轮要计算的实体集合，不是加一点独立噪声。

两种协议共用 5 类动作：EXECUTE_CYPHER（在 Neo4j 上跑并拿回行）、ASK_USER（澄清）、INSPECT_SCHEMA（看节点标签和关系类型）、SEARCH_VALUES（按关键词模糊搜属性值）、SUBMIT_ANSWER（交上这一轮的预测查询）。

指标有四项。执行准确率 EX 是主指标：预测查询和黄金查询在同一张图上的执行结果必须行相同，列名也相同。来源子图 Jaccard 相似度 PSJS 看模式匹配绑到的节点元素 ID 重叠；聚合查询返回标量时，V 取 MATCH 子句匹配到的节点。PSJS 用来抓住「子图对了、输出格式错了」。链错误率 CER 是上一轮 EX 为 0 的条件下，这一轮 EX 仍为 0 的概率。会话第一轮，以及紧跟成功轮的轮次，不进 CER。会话精确匹配 SEM 只有每一轮 EX 都是 1 才记 1。

15 个模型：引导最高 0.647，会话全对只有 33 段

评了 15 个模型：10 个前沿 API 模型、2 个小开源基线、3 个微调或专用结构。CypherRI-7B 因为强化学习训练里的 fill-in-the-middle 标记污染，输出格式几乎不合规，EX 接近 0、token 数异常高，不进汇总，表里用 † 标出。Tok/S 是每会话平均干净输出 token，不含 think 标记。

引导协议 / 自主 ×3。列顺序是 EX、PSJS、CER、SEM、Tok/S，最后一列是 EX 的下降（自主减引导，表内 ΔEX 取下降幅度）。

引导协议下 Claude Opus 4.7 最高，EX 0.647，也就是 64.7%。其余前沿模型大约铺开 19 个百分点。MiniMax-M2.7 只有 0.139，作者认为更像格式不合规。SEM 最高仍是 Claude 的 0.046，对应 721 个会话里只有 33 个全部轮次正确。专用模型 STRuCT-LLM-Novo 引导 EX 0.526，超过六名前沿模型。百度的 ERNIE-5.0 引导 EX 0.468，SEM 0.003，自主 ×3 升到相对名次更靠前的 0.295，但会话全对仍然只有 0.003。

除 MiniMax-M2.7 外，每个模型换到自主协议都下降。它上升 0.018 被写成地板效应：引导分已经接近机会水平。前沿模型里，下降最少的是 Gemini-3.1-Flash-Lite 的 0.140，最多的是 Qwen3-235B 的 0.314。名次会换：Gemini 从引导第四升到自主第一，EX 0.432；Qwen3-235B 从第五掉到接近垫底的 0.199。Claude 0.402 和 GPT-5.5 0.401 只差 0.001，作者说这在运行间方差之内，并列第二。Gemini 超过 Claude 的差距，以及这轮重排，在 10,000 次重采样 bootstrap 下达到 95% 显著。作者把这种现象叫做 Autonomy Divergence（自主分叉）：总排名相关仍然高，但榜首会换人，管错误和写 Cypher 不是同一项能力。

难在收窄和补集，不在人设

现象类型最能预测难度。14 个模型上，Refine 平均 EX 0.244，Contrast 0.273，Agg_Max 0.650，Agg_Avg 0.602。人设和图拓扑是次要因素。前沿模型在人设之间的 EX 极差通常是 10 到 16 个百分点。图难度跟着「实体到底属不属于这个集合」的结构歧义走：Stellar Colony 和 Merchant Harbor 最难，平均 0.426 和 0.434；Celestial Court 是 0.485。这些是表 10 的图均值，不是某一个模型的分数。热图排除了 CypherRI-7B，并且额外排除了 MiniMax-M2.7。

格式是另一项独立失败。Claude 的引导 PSJS 有 0.846，EX 只有 0.647。子图走对了，列名或输出格式仍会判错。

自主分叉：相关不等于榜首不动

14 个模型上，引导和自主名次的 Spearman ρ 是 0.86。这个数被垫底模型撑着。只留 10 个前沿模型，ρ 降到 0.73；再去掉 MiniMax-M2.7，降到 0.63，95% 置信区间 [0.58, 0.70]。前沿层 45 对比较里有 11 对在 10,000 次 bootstrap 下显著反转，其中包括 Gemini 超过 Claude。作者因此说，这不是系统性全榜倒转，而是少数前沿模型掉得更狠，足以换掉第一名。附录 F 的三种协议变体都保住了总体名次。

CER 把级联写数量。引导协议已经用黄金上下文隔开了错误传播，前沿模型（不含 MiniMax）的条件 CER 中位数仍有 0.47。这里的 CER 用的是模型自己逐轮的 EX，不是注入的标准答案。自主协议下这个中位数升到 0.77。DeepSeek-V3.2 和 Qwen3-235B 超过 0.83：上一轮错了，下一轮有超过 83% 的概率接着错。

作者把「每轮重新看模式」写成有韧性模型的行为标记，不写成原因。Claude 和 Gemini-3.1-Flash-Lite 分别把 85.8% 和 83.5% 的动作花在 INSPECT_SCHEMA。往下掉的模型把 62% 到 73% 的动作花在 EXECUTE_CYPHER 重试上，却不把模式找回来。表 3 里 INSPECT 占比和自主 EX 的 Spearman ρ 为 0.93，p < 0.001，留一法仍高于 0.88。把模式改成持久可见，或提前告诉会话还有多长，都消不掉这个差距。

按轮次看更清楚。引导协议下，六名前沿模型从 T1 到 T10 都稳。自主协议下 Claude 和 Gemini 会停在一个不塌的平台上；GLM-5 在 T3 下dip，然后回到大约 0.44，而不是一直掉。ERNIE-5.0、DeepSeek-V3.2、Qwen3-235B 在 T2 升到 0.36 到 0.51，然后几乎单调跌到 T10 接近 0。黄金上下文能吸收的链依赖错误，一旦模型自己扛历史，就变成整段失败。

表 3 的 INSPECT 占比、自主 ×3 EX 和 ΔEX，按 INSPECT 从高到低：

ERNIE-5.0 的 INSPECT 只有 29.3%，和会塌的模型同一档，自主 EX 0.295 仍高于 Qwen3-235B 和 DeepSeek-V3.2。相关是 0.93，不是每一名都严格按占比排队。

预算加到 10 倍也补不回引导分

如果缺口来自级联错误，多给恢复动作应该有用。图 4 和正文给出的点不是这样。Gemini-3.1-Flash-Lite 在 ×3、×5、×10 上是 0.432、0.431、0.430，预算增加到 3.3 倍仍然平。Claude 在 ×5 到峰值 0.429。GLM-5 在 ×10 掉到 0.271。Qwen3-235B 全程只多 1.9 个百分点，相对它 31 个百分点的引导缺口可以忽略。小模型吃得到预算：Llama-3.1-8B 几乎翻倍到 0.261。作者用这条曲线区分「探索不够」和「策略不行」。

即使 ×10，也没有模型补上自己的引导到自主缺口。Gemini 仍比引导 EX 低 0.142，Claude 低 0.223。看模式看得多的前沿模型，不管预算多大，自己大约只用每轮两次动作，重复的是无效重试。会塌的前沿模型每轮用三到四次，几乎全是找不到真正错误的重试。

作者担心这是提示词里的「要省动作」造成的，就把提示改成明确鼓励用满预算，并在十倍预算下重跑。七个有效前沿模型里有六个 EX 下降，因为多出来的动作主要是重复重试和没有目标的搜索，会引入噪声。附录 F 的结论是：瓶颈是恢复错误的方式无效，不是不肯花预算。

硬性预算耗尽对前沿缺口贡献很小。去掉因预算耗尽被自动记 0 的轮次，主分析里四个锚定模型最多挪 3.3 个百分点，前沿里最大调整是 ERNIE-5.0 的 6.5 个百分点。耗尽率超过 80% 的只有小模型。它改绝对分，不改前沿名次。

单轮微调会伤多轮，RL 加思维链可以反过来

text-to-cypher-gemma 的引导 EX 只有 0.261，低于基座 Gemma-2-9B 的 0.281。Neo4j Text2Cypher 语料隐含的假设是每条查询都自洽。这个偏向会打断指代和结果集串联。微调模型反复把前轮结果写成字面值列表，而不是保持关系连续。

表 4 用两对「基座到专用」对照，区分是训练方式的问题还是领域数据的问题。Gemma 这一对往下走：单轮监督微调把引导 EX 从 0.281 降到 0.261。QwQ 这一对往上走：STRuCT-LLM-Novo 基于 QwQ-32B。QwQ-32B 是阿里 Qwen 团队的 320 亿开源推理模型，用强化学习和思维链监督，并在 SQL 与 Cypher 之间做跨形式迁移，引导 EX 从 0.395 升到 0.526，增加 13.1 个百分点。自主协议上，QwQ-32B 从 0.324 升到 0.333，方向相同，幅度小。另一极的 CypherRI-7B 则是强化学习带来的格式标记污染了输出。作者的判断是：关键不是训练数据专不专业，而是训练方式是否匹配多轮任务。QwQ-32B 只在附录 F 的 210 个会话分层子集上评，该子集相对全量的 EX 偏差最多 0.01，13.1 个百分点远大于这个噪声。

结论写到哪里为止

四条结论按原文顺序是：最好的引导 EX 只有 64.7%，会话级正确率刚过 4%（表内最高 0.046，即 33/721）；自主运行下的错误管理部分独立于生成能力，榜首会重排，只看标准答案上下文看不到；多给动作预算补不上这个缺口，前沿模型会自己限流；单轮微调伤害多轮跟随，和任务匹配的专用训练可以超过若干前沿模型。三种协议变体改了模式是否可见、是否告知剩余轮数、提示措辞。总体的不均匀下降还在，但每一次变体都把 Gemini-3.1-Flash-Lite 从第一名挪走。自主分叉对这套代理协议的设计选择是稳的，第一名是谁并不稳。

限制也写在文末。15 个模型没有覆盖投稿时所有竞争系统，新模型可以改绝对分。七张图全是合成的，不能外推到真实企业图：命名习惯、数据缺失、领域歧义都没测；真实图上的试运行被标成未来工作。会话全是英文，自主分叉换语言是否还在，原文没有答案。EX 要求结果集连列名都一致，只差列顺序或表面格式的等价查询会被判错；更宽容的语义等价指标也是未来工作。没有线上业务 A/B。ERNIE-5.0 的 0.468 / 0.295 是这张表上的名次，不是百度生产 Text-to-Cypher 系统的上线准确率。

出处：百度，Yuzhe Zhang、Weijie Zhu、Haolin Yang、Ziyun Zhang、Xianwei Xue、Mengke Chen、Qiutong Pan、Huaqian Cai（北京大学、Baidu Inc.、国家数据空间技术与系统重点实验室），CypherTurn: A Multi-Turn Benchmark for Conversational Text-to-Cypher Evaluation and the Autonomy Divergence，2026-09-29，https://arxiv.org/abs/2609.36987