美团 Agent 评测：从结果、轨迹到质量基础设施

美团 Agent 评测：从结果、轨迹到质量基础设施

一、评测对象：从答案变成任务系统

美团技术团队把 Agent 评测的目标定义为：回答 Agent 好不好，以及到底哪里好、哪里不好，从而为下一轮迭代提供方向。评测不能停在离线榜单或一次 Demo，而要服务于研发、上线、回归、优化和规模化落地。其核心公式是“观测 + 评测 = 持续迭代”。

Agent（能自主规划、调用工具并完成任务的模型系统）被放进真实系统后，评测对象不再是单一模型，而是模型、Prompt、Skill、工具链、记忆、状态管理和业务流程的组合。一个 Agent 可能最终答对，但路径混乱、工具调用不稳定、耗时不可控；另一个路径清晰、稳定、可复现。只看最终答案会把两者误判为同一水平。

因此，评测至少覆盖四层：

• 结果层：任务是否完成，输出是否可用；
• 过程层：规划是否合理，步骤是否稳定；
• 效率层：耗时、Token 和工具调用次数是否可接受；
• 风险层：是否越权、误操作或引入安全隐患。

Agent 的一次执行通常包含多层链路。若日志只能看到用户输入和最终回复，团队就难以定位根因。Trace（记录一次执行全过程的可观测数据）系统需要披露影响输出的输入、工具调用、中间结果和状态变化。评测因此同时关注 Response Evaluation（结果评测）与 Trajectory Evaluation（轨迹评测）。

二、核心方法：先搭桥，再谈分数

模型能力指标与业务结果指标之间存在鸿沟，中间需要一层面向任务系统的桥梁指标。以 AI 搜索为例，业务关心 DAU、留存和点击，搜索系统关心召回率和点击率，Agent 层则要看意图识别、检索有效性和结果整合可信度。只有把这些层次串起来，才可能解释业务指标为何变差，或模型能力提升为何没有带来业务收益。

评测应当把客观评测与主观评测并行：

• 用客观评测覆盖高频、结构化、可规则化的部分；
• 用主观评测覆盖开放性、高价值和复杂业务场景；
• 用主观评测校准客观评测与 AI 评测，再把可规模化部分交给自动化系统。

主观评测的难点不是没人会评，而是不同人评得不一样，机器和人评得也不一样。美团图灵评测团队提出“人人一致、人机一致”：由一个能整合产品、运营、研发和 QA 意见的角色统一标准，评测员通过背靠背标注对齐；机器评测必须与人工判断保持一致，否则只能算机器标注，不能算可信的自动化评测。

Rubric 如何落地

Rubric（评测规则，即把模糊目标拆成可判断条件）应经过三步处理：

1. 指标下钻：把“大而模糊”的概念拆成清晰维度；
2. Rubric 二元化：尽量收敛为“是／否／未知”或 0／1／unknown；
3. 持续迭代：用 unknown 占比反查规则是否合理，直到单条规则的人间一致率、人机一致率达到可信阈值，例如 85% 或 90%。

文章给出的案例是骑手外呼场景。“回答是否口语化”过于模糊，改成可检查的条件：是否以“您”指代骑手，是否使用“甭客气”“明儿见”等口语词，是否出现“吧”“呢”“那个”等语气词。这样的拆解可以降低人与人、人与机器之间的分歧。文中举例，数字站长的人机一致率可达 99%，Beam 采用图灵的二元化方案后，人机一致率从 62% 提升到 92%。

三、评测飞轮：从线上 Case 反哺回归集

美团把 Agent 评测拆成五个环节：

1. 采集：获取线上或沙箱中的原始任务数据；
2. 清洗：去重、归类、补上下文和修复脏数据；
3. 评测：进行人工评测和 AI 评测；
4. 质检：检查标准是否稳定、结果是否可信；
5. 分析／归因：定位问题根因，形成优化建议和回归任务。

这五步与线上 A/B、持续观测共同形成数据飞轮。起步阶段不应先堆出复杂指标，而应让飞轮先转起来：从高频核心场景定义少量指标，从生产环境收集 Bad Case，沉淀 Good Case，把两类样本转成标准评测集，再用结果反哺 Prompt、Skill、策略和模型。Bad Case 更容易暴露能力边界，Good Case 则帮助团队定义高质量完成范式。

文中以履约数字站长为例：项目启动时只有 20 多个指标，经过一年多推广，扩展到接近 200 个指标。这个变化说明评测体系不是一次设计完成，而是在真实业务反馈中演进。

垂直场景还需要专家知识补足模型能力。模型能力依赖高质量语料；当业务知识稀缺或公开语料不足时，应引入最懂业务的行业专家定义“好”的标准，尤其用于冷启动阶段。

四、冷启动、灰度与评测集边界

冷启动是否一定要有种子评测集，是风险与成本的权衡。由于大模型具有随机性，Corner Case（边界案例）可能导致 Agent 体验剧烈偏移，因此建议用种子集回测基线能力，并持续加入 Good Case 和 Bad Case。

如果业务容错率较高，或构建高质量种子集的成本显著高于线上试错成本，可以通过小流量灰度收集线上 Case。文章推荐的折中方案是：人工生产少量评测样本，再用 AI 辅助生成或扩写，以较低成本完成冷启动集。

如果专家对“好”的定义不一致，先抽取共性建设评测体系；非共性不必简单丢弃，可以转化为不同风格或策略分支，在不同 Benchmark（基准评测集）中分别评测。

五、从短程 Agent 到长程 Agent

短程 Agent 的典型形态是 Query -> Answer，重点是回答是否准确、流畅、有用、遵循指令且安全。长程 Agent 则要完成复杂任务，通常需要多步拆解、多次调用 Tool 或 Skill，并根据中间结果动态调整策略。

长程 Agent 评测的核心变化是：不只问“说得好不好”，还问“事情做成没有，以及是怎么做成的”。美团把长程任务抽象为三元组：

prompt -> expected behavior -> trace

其中 prompt 是问题或诉求，expected behavior 是预期行为，trace 是真实执行路径。这个结构类似短程 Agent 的 query -> ground truth -> answer，但能够把工具调用、执行步骤和过程约束纳入评测。

长程 Agent 还改变了人机分工。传统链路可能是“核心评测员对齐 -> 外包对齐 -> 机评对齐”；在长程场景下，有机会缩短为“核心评测员对齐 -> 机评对齐 -> 规模化扩展”。人工应主要负责高价值标准设计和 Rubric 对齐，AI 负责规模化运行、初筛和回归验证，平台负责沉淀、回放、告警和归因。

六、评测基础设施至少要有七项能力

面向大规模 Agent 和 Skill 生态，文章提出评测基础设施至少应具备：

• 全链路回放：复现一次任务从输入到结果的全过程；
• Case 管理：统一维护样本、上下文、约束和 Rubric；
• 执行沙箱：按只读、可写和高风险类型分层隔离；
• AI 评测引擎：支持 Rubric 驱动的人机对齐和自动判分；
• 报告与归因：指出问题发生在规划、工具、环境还是 Skill；
• 回归机制：版本升级后自动触发历史 Case 回归；
• 准入准出门禁：把评测结果接入开发、发布和运营流程。

如果缺少这些能力，评测容易停留在一次性分析或项目制支持，不能成为生产系统的一部分。

七、结论与限制

美团技术团队的结论是：评测对象从“回答”变成“任务系统”，评测方法从 Query -> Answer 逐步转向 Prompt -> Expected Behavior。结果质量、过程质量、任务完成度、轨迹质量、效率和风险都需要纳入同一套体系。

这套方法的限制也很明确：评测标准依赖业务专家，指标需要持续维护；主观评测仍需人工校准，不能把机器预标注直接当成自动化评测；线上灰度会带来真实反馈，但必须结合业务容错率控制风险；不同风格策略和不同场景不宜用一个总分粗暴比较；长程 Agent 的沙箱、回放和回归基础设施也会带来工程与成本负担。

真正可用的评测体系，不是一次性设计出完美分数，而是做到看得见问题、说得清标准、跑得动规模、接得上流程，并能持续带动迭代。

出处：美团，履约技术团队，《Agent评测漫谈 —— 由浅入深讲解Agent评测》，2026-08-07，https://tech.meituan.com/2026/08/07/Agent-Evaluation.html

出处：美团，履约技术团队，《Agent评测漫谈 —— 由浅入深讲解Agent评测》，2026-08-07，https://tech.meituan.com/2026/08/07/Agent-Evaluation.html。