研究与基准测试/2026-10-04/12 分钟Agent 基准契约审计(续):检查器漏掉了大多数缺陷动态检查器在封闭世界召回很低:33 次漏检里有 29 次已有条款覆盖,却没有探测揭示。AgentDojo 25 个工具里至少 5 个偏离宣称表面。CONFORM 并不确立符合。
研究与基准测试/2026-10-04/16 分钟Agent 基准是否做到了它们所说的?对工具型环境的可执行契约审计佛罗里达国际大学把工具宣称的表面写成可执行契约,在四个基准、34 个会改状态的工具上确认七处缺陷。MedAgentBench 告诉智能体写入已执行,评分器却只读这句话。