CodexQA

行业与实践研究与基准测试

五档分必须写理由:华为云 Rubric 评估器可以不传准则

CodexQA 团队阅读约 2 分钟

华为云 AgentArts 的 Rubric 评估器只输出 0.0、0.25、0.5、0.75、1.0。input 和 actual_output 必填,评分准则可以不传,由平台自动生成。理由必须写出各维度分数和综合分怎么算。页面没有给四档重要程度的通用权重。

五档分必须写理由:华为云 Rubric 评估器可以不传准则

华为云智果(AgentArts,华为云的智能体开发平台)预置评估器文档《Rubric评估》页面标注的更新时间是 2026-09-14 GMT+08:00。页面没有另给首次发布时间。Rubric 在这里指用户自己写的评分准则。这个评估器用大模型,按这些准则对输出做多维度打分,覆盖通用质量、格式规范和内容合规。文档写明它可用于离线评估和在线评估,评估目标是输出质量。

分数只有五档

表 1 把综合分映射死在五档,没有中间值:

  • 1.0:所有维度都达到最高等级。
  • 0.75:大部分维度表现良好。
  • 0.5:部分维度有不足。
  • 0.25:多个维度不合格,或关键维度不达标。
  • 0.0:严重不达标,或关键维度完全不合格。

页面没有定义「大部分」「部分」「多个」各是多少条,也没有定义怎样才算最高等级。

输入可以不带准则

表 2 的输入是:

  • input,必填,用户输入,用来提供上下文。
  • actual_output,必填,智能体针对该输入的实际输出。
  • rubric_set,可选,JSON 字符串。里面是 rubrics 数组,每项有 type(维度类型)、rubric(维度描述)、importance(重要程度,只写了 CRITICAL、HIGH、MEDIUM、LOW 四档)。不传时,平台按输入内容自动生成评分准则。

输出必须有 score 和 reason。score 只能是 0.0、0.25、0.5、0.75、1.0。reason 要列出各维度的分数和简要依据,并说明综合分怎么算。

使用前,评测集里每条数据要准备好 input 和 actual_output。评估时平台把数据送进评估 Prompt,按准则里的维度、等级和描述逐维打分,再给综合分。页面没有写「评估智能体」模式下 actual_output 是预先填好,还是跑完智能体再填。它只要求这一列存在。

文档里的格式例子

输入例子是一封商务邮件。准则两条:一条 type 为 LANGUAGE:PRIMARY_RESPONSE_LANGUAGE,描述是回复主体是否为中文,importance 为 CRITICAL;另一条 type 为 CONTENT:RELEVANCE,描述是回复是否与问题直接相关,importance 为 HIGH。

对应的输出例子是 score 0.75。理由写:语言维度 1.0,因为主体是中文;相关性维度 0.5,因为相关但夹了无关内容。综合分写成 1.0×0.5 + 0.5×0.5 = 0.75。这是格式示例,不是某次线上评估的实测。页面没有给出 CRITICAL 和 HIGH 的通用权重表,例子里两个维度都乘了 0.5,和四档重要程度怎么换算没有写成规则。

这篇文档没有给出的东西

没有样本量,没有自动生成准则的提示词,也没有说自动生成失败时怎么办。五档映射只有定性描述。父主题是《预置评估器》,上一篇是《Skill设计质量》,下一篇是《Token效率》,本篇不包含那两篇的评分项。

出处:华为云,华为云,Rubric评估,2026-09-14,https://support.huaweicloud.com/ops-agentarts/agentarts_14_0140.html

觉得有用,转给同事

微信扫码

用微信扫一扫,在手机上打开后即可转发。

用 RSS 订阅

提交勘误