控制台调试不进在线评估：华为云把离线和线上拆开

控制台调试不进在线评估：华为云把离线和线上拆开

华为云智果（AgentArts，华为云的智能体开发平台）文档《评估介绍》页面标注的更新时间是 2026-09-28 GMT+08:00。页面没有另给首次发布时间。文档把评估定义成对智能体表现做系统化、自动化检验：用预设标准，对输出质量、内容正确性和工具调用合理性打分。它明确说，人工试用几轮对话盖不住各类问题；改提示词、换模型、调知识库之后，如果没有量化指标，就分不清变好还是变差；上线之后还要看输出质量是否稳定。

两种方式怎么选

开发阶段，用来验证提示词、模型或知识库调整后的效果，文档推荐离线评估。生产运维阶段，应用已经上线，要持续看线上质量，文档推荐在线评估。

在线评估只吃 API 产生的 Trace

在线评估基于 Trace，也就是应用运行过程的调用链。任务会自动采样 Trace，取出输入和输出再打分。文档用注意框写了两条硬限制：

• 在线评估只由通过 API 调用产生的 Trace 触发。
• 控制台调试产生的数据不会触发在线评估。

一次在线任务有两个要素。评估对象是被采集数据的目标。评估器定义维度和评分标准，平台有预置评估器，也允许自定义。流程是四步：先创建任务并配好对象和评估器；再调用智能体运行 API；运行数据上报后生成 Trace；系统取到 Trace 后自动评估，结果在任务详情页看。

离线评估的三个要素

正式发布前，离线评估在预设场景里看响应是否符合预期，并在详情页看评分报告和对比分析。三个要素是：

• 评测集：一组评估数据，手工编辑，通常含测试输入和预期输出。
• 评估对象：可以是一个智能体，也可以是评测集里已有的数据。
• 评估器：定义维度和评分标准。文档举例的预置评估器包括正确性（输出是否正确、准确、真实，并覆盖核心要点）、AI 味检查（开头结尾冗余、连接词模板化、人名简单化、语气词过多）、任务完成度（比对用户输入和 Agent 输出，判断任务是否完成）。更多预置评估器不在本页展开。

离线的两种模式

差别在数据从哪来。表 3 的对比是：

资源上限写在同一张表的使用说明里，不是建议值：

• 每个用户最多免费创建 10 个评估任务。额度用完仍可创建，超出部分按需计费。
• 每个评估任务最多配置 5 个评估器。
• 免费评估任务里，评估器运行的 Tokens 由评估模块的专属资源承担，不消耗用户自购的 Tokens。
• 「评估智能体」模式下，智能体回答问题产生的 Tokens 仍按智能体正常计费，或消耗用户自己的资源额度。

模式一是让智能体实时回答。准备问题和参考答案，平台逐条发给智能体，再由评估器打分。适用场景是：开发完成后用标准测试集检验；改提示词、换模型、调知识库后对比前后分数；定期回归，确认没有退化。

模式二不运行智能体，直接评评测集里的数据。评估器被定义成大模型加评估提示词，逐条读数据并按提示词里的标准给分，也就是用 AI 评判数据质量。适用场景是：已有人工编写、线上日志或外部系统导出的问答，想批量验质量；不想为智能体运行付 Tokens，只评现有数据；换了评估标准后，用新维度重评同一批数据。

这篇文档没有给出的东西

页面没有任何智能体的得分、通过率或线上采样比例。10 个免费任务和 5 个评估器是平台上限，不是某次实验的配置。它没有写超出免费额度后的单价，也没有写在线评估的采样率、延迟或失败怎么重试。控制台调试不进在线评估，文档没有说这些调试记录能否导出后再走离线的「评估评测集」。预置评估器的字段和评分细则指向另一页，本篇只有三个例子。父主题和上一篇都是《智能体评估》，下一篇是《示例：快速完成一次智能体评估》，本篇不包含那篇的点击步骤。

出处：华为云，华为云，评估介绍，2026-09-28，https://support.huaweicloud.com/ops-agentarts/agentarts_14_0023.html