Gemini 企业智能体平台的智能体与模型评测正式可用

Gemini 企业智能体平台的智能体与模型评测正式可用

Alex Martin，产品经理。Dima Melnyk，产品经理，Cloud AI。2026 年 7 月 31 日。

智能体的质量要在两个阶段测量：开发时对照你写好的用例，上线后对照智能体实际做过的任务。Agent Platform（智能体平台，用来开发和运行智能体的产品）里的智能体与模型评测现已一般可用（generally available，正式提供、可按正式条款使用）。你可以在同一套引擎、同一套指标上，比较这两个阶段的智能体和模型。开发实验和线上流量如果用同一套质量打分，生产环境里的漂移（drift，线上分数相对开发时的偏移）就指向智能体本身的问题，而不是测量方式变了。

产品文档：https://docs.cloud.google.com/gemini-enterprise-agent-platform/optimize/evaluation/agent-evaluation

现已正式可用的部分

• 指标。可以从 20 多个预置指标起步。范围包括质量、安全、接地（grounding，回答是否扣住给定材料）、智能体的工具使用与轨迹（trajectory，一次任务里调用工具和产生回复的整段过程），以及摘要、翻译这类对照参考答案的打分。自适应评分细则（adaptive rubric，按这一条用例单独生成的通过或失败标准）把评判标准调到每条用例上，而不是用一条脆弱的“模型当裁判”（LLM-as-a-judge，再让一个大模型按条文打分）提示词去套所有不该用同一组问题的输入。你也可以自定义基于代码的指标，或自定义模型当裁判的指标，并把它们放进一个带版本、全组织共用的地方，使打分能长期一致、能互相比较。
• 实验。可以在客户端或服务端跑。服务端把每一份产物放进 Cloud Storage，因此运行可审计、可复现。实验接上用例生成，用来起步做出评测数据集；接上用户模拟器，用来把多轮用例演完，而不必为每一句回复写脚本；接上环境模拟器，用来代替智能体要调用的系统，从而可以模拟失败或变慢的后端，而不影响生产。
• 线上监控与遥测接入。对已经在收集的线上生产流量做持续评测（telemetry，运行时记下的轨迹和会话），给这些轨迹打分，并给出分数随时间变化的图和漂移告警，不必另搭自定义数据处理流水线。

评测可以从这些入口进入：Agent Platform SDK、agents-cli、Agent Platform 的 Google Cloud 控制台里的 Evaluation 分区，以及直接从 ADK（Agent Development Kit，谷歌的智能体开发工具包）进入。

实验

评测里的主要工作单位是实验（experiment）：一组评测用例，加上一组要运行、要复查的指标和分数，供你迭代时使用。评测服务带有一个灵活界面，用来定义指标、发起新运行、查看结果，一直看到单条失败。在单条失败上，可以打开智能体的完整轨迹和会话日志，看清到底发生了什么。

页面含一段视频。说明文字是：Evals Worksheet，用来查看并运行智能体评测。页面同时写明：如果浏览器不支持播放，就看不到这段视频。

实验可以在本地跑，便于快速迭代。如果智能体已经部署在 Agent Platform 上并且打开了遥测，也可以给已有的会话和轨迹打分，或者打开用户模拟器来跑智能体，在真实用户产生轨迹之前先造出轨迹。每一份实验产物都明文存在 Cloud Storage 里，因此可以做版本管理，并为合规和留存审计这些运行。

大规模评测作业支持问题聚类（issue clustering）：按你自己的失败原因分类法（taxonomy，事先写好的失败类型清单），把评测失败分成可解释、可处理的簇。如果还没有自己的分类法，可以用他们为自适应评分细则准备的预置分类法，覆盖智能体常见的出错方式。

评测指标

服务带有 20 多个预置指标。基于计算的指标对照标准答案做确定打分：摘要用 ROUGE（比较摘要和参考摘要有多少词重叠）；翻译用 BLEU（看机器输出和参考句子的 n 元重叠）、MetricX 和 COMET（两种对照参考句子或原文给翻译打分的自动指标）；抽取式问答用精确匹配。

除此之外，自适应评分细则是一套更进一步的“模型当裁判”流程，与 Google DeepMind 的研究伙伴共同做出来。它根据评测用例定义、开发者指令和工具声明，生成针对这一条用例的通过或失败测试（也就是评分细则）。然后按这些细则给轨迹打分，并给出每条细则的判定和理由。

图注：自适应评分细则，标准按每条评测用例生成。

他们按人们通常想知道的事情，设计和校准了若干变体。任务成功（Task Success）根据智能体回复里能观察到的结果和确认，给整段对话的目标完成情况打分。工具使用质量（Tool Use Quality）评工具选得对不对、参数对不对、是否符合工具的数据模式。安全（Safety）按内容政策给回复打分，政策覆盖仇恨言论、骚扰、危险内容、露骨性内容和个人可识别信息（PII，能识别到具体人的信息），并返回违反了哪些政策。轨迹质量、最终回复质量、幻觉（Hallucination，说出材料里没有的内容）、接地，以及图像和视频质量指标也可用。自然语言指引可以把评分细则的生成拨向你指定的标准；生成出来的那一组细则可以复查，也可以跨智能体复用。

预置指标不够用时，可以自带。基于代码的指标是一个 Python 函数，覆盖精确文本匹配、JSON 形状检查，以及任何能用代码表达的检查。模型当裁判的指标带上你自己的标准、评分刻度和裁判模型。本地运行时可以用任何提供方的任何模型；服务端评测运行支持 Model Garden 里的任何模型，包括全部 Gemini 和 Anthropic 模型。

无论指标怎么定义，都会进同一个带版本、全组织共用的登记处，并在离线实验和线上监控里原样运行。他们正在把覆盖扩到更专门的任务和输入形态，并欢迎反馈。

线上监控与遥测接入

一个在整套测试上都是通过的智能体，上线一周后仍可能漂移，因为碰到了谁都没写过用例的输入。这与其说是测试失败，不如说是生产环境的事实：真实任务比你事先能写出来的任何套件都更大、更陌生。

开发智能体时建好的指标，应该在智能体上线之后继续跑。如果已经通过 Cloud Trace 收集轨迹和会话，可以在轨迹界面里一次点击直接评测它们。更好的做法是设置线上监控，在实时流量到达时就打分。为了避免给每一个请求都打分、把费用压住，可以使用内置的抽样和定向过滤。监控打开后，可以在内置仪表盘里看分数随时间的变化，也可以把漂移告警接到电子邮件、Slack 或其他渠道。

图注：线上监控展示生产轨迹上的评测分数。原文图注写的是分数画在生产轨迹之上。

用例生成与模拟

每一次评测都需要用例来跑。全部手写又慢，又容易漏掉不明显的情况。评测服务可以替你生成，包含三件东西：用例生成器、用户模拟器、环境模拟器。

用例生成器根据智能体的指令和工具播种合成评测用例，因此不必从空白页开始，覆盖也不会停在你当时想到要打出来的那些情况。对 ADK 智能体，它可以和用户模拟器配对，碰到手写很难做出的场景：你定义一个人物设定和一份短的对话计划，模拟器在完整的多轮往来里扮演这个用户，于是可以评测真实的来回，而不必为每一句回复写脚本。

环境模拟器代替智能体要调用的系统。把它指到一个工具上，给出你想要的响应——伪造的数据、强制的错误、加上的延迟——它就在这次运行里拦截那次调用。这样可以测试智能体如何处理失败或变慢的后端，而不去碰生产环境。

价格与可用范围

智能体与模型评测现已正式可用。支持的区域和企业安全功能见区域与安全功能表。模型当裁判以及其他基于模型的指标，按这些模型调用的标准费率计费；服务端运行留下来的产物另计 Cloud Storage。基于代码的指标和基于计算的指标不另收费。你的数据集和轨迹始终留在你自己的项目里。

开始使用

评测接在你已经用来做智能体的工具上。它是 Agent Platform SDK 的一部分；SDK 覆盖不到的语言和流水线，可以用同一组操作的 REST API。

如果从命令行工作，agents-cli 把评测做成和部署智能体、查看遥测并列的正式命令（目前是 ADK-Python 智能体）。也可以直接从编程智能体里跑这条环：一个可复用的技能带领 Claude Code 和同类工具走完智能体质量飞轮。在 ADK 上做的团队，评测做进了框架里：开发时在本地定义评测集并对着智能体跑，包括放进 pytest 做持续集成。如果想不写代码就复查一次运行，上面说的 Evals Worksheet 网页界面就是那张表。

• 跑第一次评测：教程，Agent Platform SDK。https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/evaluation-genai-sdk
• 端到端评测一个智能体：用 GenAI Client 评测智能体。https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/evaluation-agents-client
• 从编程智能体里跑这条环：智能体质量飞轮。https://developers.googleblog.com/driving-the-agent-quality-flywheel-from-your-coding-agent/

他们写到：很期待看到你交付的东西。

出处：Alex Martin，Dima Melnyk，Agent and Model Evaluations in Gemini Enterprise Agent Platform are now GA，2026-07-31，https://developers.googleblog.com/agent-and-model-evaluations-in-gemini-enterprise-agent-platform-are-now-ga/，CC BY 4.0。