没有外部反馈，多轮不一定比零样本好：字节测测试时经验链

没有外部反馈，多轮不一定比零样本好：字节测测试时经验链

字节跳动 Seed 的预印本 Chain-of-Experience for Continual LLM Improvement，arXiv 公开戳记是 2026 年 8 月 18 日（2608.18027v1），许可证是 CC BY 4.0。Haoqin Tu 的单位写成 UC Santa Cruz，并注明 work done at ByteDance Seed；Yunhao Fang、Yizhong Wang、Shen Yan 的单位是 ByteDance Seed；Cihang Xie 的单位是 UC Santa Cruz。Chain-of-Experience（CoE，经验链）测的是：模型不改参数，只在测试时把上一轮回答和反馈接进上下文，下一轮会不会变好。

四档反馈，正确性那档是上界

传统问答是 P(A|Q)。CoE 把第 t 步写成依赖问题和此前全部经验。每一条经验是（回答，反馈）。论文把反馈分成四档：

• 无反馈：反馈为空，下一轮只能看见自己以前的回答。
• 执行反馈：把回答丢进环境，拿回执行轨迹、报错、运行日志或测试结果。编码题用的是公开测试。
• 模型反馈：另一个语言模型（可以是同一个）当裁判，给出文字批评、偏好分或结构化评价。没有外部环境时也能做。
• 正确性反馈：验证器给 0 或 1。论文写明这在真实场景里经常不现实，因为拿到标准答案很贵或根本没有，它被当作迭代改进的上界，不是默认可部署信号。

六道题，每题都跑 3 次

任务分数学、编码、知识。每类两套：

• AIME 2025：30 题。
• OmniMath：全集 4428 题，评测抽样 200 题，覆盖各难度。
• LiveCodeBench V6：175 题。
• LiveBench 的编码部分：128 题。
• EvaLearn：648 题，评的是经验学习。
• GPQA Diamond：198 题，生物、化学、物理，博士水平出题。

对照有两条线。一条是把推理长度调高或调低：OpenAI 用 reasoning effort 的 low 和 high；Claude 4.5 Sonnet 关掉 thinking 当作 low，thinking budget 设为 10000 当作 high。另一条是从别的题吸收经验：few-shot ICL、Dynamic CheatSheet（DC，动态备忘单）、Agentic Context Engineering（ACE，把提示词当成会更新的 playbook）。这三套都从已做过的题里取最相关的 k 条，k 取 1、5、8、12、15、20。检索用 OpenAI 的 text-embedding-3-large。DC 在整理备忘单时用了标准答案，ACE 不跨题泄漏到后面的双反馈实验里，但基线本身是跨已解题检索。

实验设置点名的模型是 GPT-5、GPT-5-mini、o4-mini、o3、o3-mini、Gemini-2.5 Pro、Claude 4.5 Sonnet。摘要写的是 8 个模型，并点名 GPT-5、Gemini-2.5 Pro、Claude-4.5 Sonnet。正文没有给出第 8 个名字。全部实验跑 3 次，报均值和标准差。OpenAI 温度 1.0；Gemini 和 Claude 温度 0.2。迭代看 20 轮里的最好成绩。

自反馈平均加 5.6 个点，但无反馈不是处处更强

相对无反馈，自反馈平均提高 5.6 个百分点，正确性或执行反馈平均提高 11.1 个百分点。编码两套上，公开测试带来的执行反馈平均从 66.4% 到 75.0%，加 8.6 个点；自判断加 7.0 个点。非编码例子写成 75.1% 高于 67.1%，再高于无反馈的 62.5%。摘要另写：自反馈带来 5.6% 的总体提升，API 费用低 19%。第 4.2 节没有把每一格都收成这一个 19%。

表 3 是各模型最好分的平均，单位是百分数。列顺序是 AIME 2025、LiveCodeBench V6、LiveBench 编码、OmniMath、GPQA Diamond、EvaLearn：

• ICL：71.83，62.50，65.46，53.12，78.45，40.99
• ACE：71.98，66.94，69.38，50.33，76.58，42.54
• DC：73.33，63.59，68.58，48.64，79.56，42.68
• 无反馈：77.78，72.57，60.16，65.17，80.02，44.91
• 高推理：69.05，70.63，55.46，61.81，76.21，39.58
• 低推理：60.48，61.03，55.38，50.60，72.92，29.34
• 二元执行器：编码两列是 72.90 和 71.65，其余没有
• 自反馈：82.22，75.69，69.94，67.52，81.03，51.73
• 正确性或执行：89.05，74.50，75.78，79.61，99.52，57.05

六套平均后，ICL、ACE、DC 是 62.1%、64.0%、62.7%，都低于无反馈的 66.8%。自反馈到 71.0%，最好的反馈信号到 79.3%。但表 3 里 LiveBench 编码的无反馈是 60.16，低于 ICL 的 65.46 和 ACE 的 69.38。不能把「无反馈平均更高」读成每一列都更高。GPQA Diamond 的正确性反馈是 99.52%，这是有标准答案的上界，不是自反馈。

费用上，多数模型加反馈后分数更高、API 更便宜，例外是 Gemini 2.5 Pro，自反馈更啰嗦、增益更小。编码任务上，自反馈拿到执行反馈大部分收益（73.4% 对 75.0%），API 调用少 13.4%（文中例子是 70.7 美元对 81.6 美元），并且比无反馈少大约 20% 费用。AIME 2025 上自反馈比无反馈省 47.3% API 费用，例子是 8.8 美元对 4.6 美元；EvaLearn 省 7.0%，325.3 美元对 302.4 美元。准确率分别多 4.4 和 6.9 个百分点。AIME 2025 的 token：正确性反馈 84.6%、108K token；DC 只有 11K token，但 74.7%；无反馈 CoE 107K token、74.1%。

改进能力定义成 (最高分 − 零样本) / (1 − 零样本)，最高分取自反馈。和零样本能力的 Pearson 相关：LiveBench 编码 0.97，LiveCodeBench V6 0.83，AIME 2025 0.33，OmniMath 0.24，任务平均 0.50。

假反馈会掉分，压缩经验也没帮上

一直给「你对了」或「你错了」这种假反馈，AIME 2025 平均掉 7.6 个点，GPQA Diamond 掉 2.6 个点。GPT-5 mini 只掉 2.5 和 0.6；o4-mini 掉 12.8 和 4.6。Selective Majority Voting 取前 n 次有效尝试的多数票。GPQA 上，错误反馈加这个投票，从模型反馈的 79.4% 到 80.3%，高 0.9 个点。投票后 AIME 和 GPQA 平均再高 1.2 和 2.3 个点。表 2 是 20 轮里的最好成绩，3 次平均：

• GPT-5 mini，AIME：自反馈 93.3，全对反馈 90.0，全错反馈 91.7
• o4-mini，AIME：自反馈 91.1，全对 73.3，全错 83.3
• GPT-5 mini，GPQA：自反馈 79.9，全对 79.3，全错 79.3
• o4-mini，GPQA：自反馈 78.8，全对 75.8，全错 72.7

从错到对的样本有 6630 对，来自六道题和五个模型：GPT-5、GPT-5 mini、o4-mini、o3、o3-mini。用 GPT-5 归成四类：反馈起了作用、自我反思、想起题目或格式要求、其他。和人工在 100 条轨迹上的一致率是 76.8%，每类 25 条。论文说计算了 Cohen's Kappa，但正文给出的数字是这个一致率，没有另给 Kappa 系数。结果是：47.7% 的改进来自反馈；编码任务里 30.0% 来自规范回忆；模型自己产生的反馈，其「跟反馈走」的比例高于其他来源，例子是 58.7% 对 41.1%。

双反馈只用 Claude 4.5 Sonnet，把模型反馈和正确性（数学）或执行器（编码）叠在一起。表 1，列是准确率和达到最好的轮次：

• AIME：双反馈 76.7（第 19 轮），只有正确性 70.0（第 13 轮），只有模型 60.0（第 6 轮）
• LiveBench 编码：双反馈 81.2（第 15 轮），执行器 78.1（第 15 轮），二元执行器 71.9（第 13 轮），模型 57.8（第 17 轮）
• OmniMath：双反馈 73.5（第 17 轮），反而低于只有正确性的 74.5（第 17 轮）；模型反馈 50.5（第 9 轮）

同一张表里，模型反馈再加 DC 或 SimpleMem，并且不跨题泄漏：AIME 从 60.0 降到 50.0 和 56.7；LiveBench 编码从 57.8 降到 51.6 和 54.7。论文的解释是压得太狠会丢掉中间推理。

这篇没有测的东西

评测主要在数学、知识和编码。长程交互，例如要改仓库或在网页环境里多步行动，论文说 CoE 应该能延伸过去，但没有测。参数不更新，所以提高来自上下文里的经验复用，不是把经验写进权重。正确性反馈依赖标准答案。DC 基线整理备忘单时用了标准答案，和「测试时没有标签」不是同一条件。摘要的 8 个模型和实验设置点名的 7 个对不齐。20 轮取最好成绩，不是每一轮都要超过上一轮，也不能当成上线后单次调用的通过率。

出处：字节，Haoqin Tu 等，Chain-of-Experience for Continual LLM Improvement，2026-08-18，https://arxiv.org/abs/2608.18027