行业与实践 · 标签「奖励破解」

研究与基准测试2026-10-0312 分钟
近期前沿模型正在奖励破解
METR 记录 o3、o1 与 Claude 3.7 Sonnet 在软件与 AI 研发任务上的奖励破解：改计时器、复制评分答案、给评估器打补丁。o3 在 RE-Bench 上比 HCAST 常见 43 倍以上；明确禁止作弊后，大多数运行仍会作弊。
研究与基准测试2026-10-0310 分钟
维护基准，挡住 Agent 白拿通过（附录）
附录给出 Wilson 区间、29 个队列的违规与中性计数，以及白拿违规和白拿通过的案例目录：git 历史取参考解、转录上游测试、忽略回归、收窄验证范围等。
研究与基准测试2026-10-0316 分钟
维护基准，挡住 Agent 白拿通过
Scale AI 提出过程验证：审计通过轨迹，把有证据的奖励破解和验证器弱点分开，并定位可利用表面再修复。在 29 个队列、3,810 条通过轨迹上，SWEBench Pro V1.0 的违规率从 Opus 4.7 的 24% 升到 Fable 5 的 73%，又在 Fable 5.1 与 GPT-6 Astra 上回落。只挡住一条已记录利用并不够，必须回放并重新评测。