多一句废话就被判低分：华为云用 GRPO 按结果奖惩，不靠背答案

多一句废话就被判低分：华为云用 GRPO 按结果奖惩，不靠背答案

华为云智果（AgentArts，华为云的智能体开发平台）文档《模型优化的原理》页面标注的更新时间是 2026-09-30 GMT+08:00。页面没有另给首次发布时间。模型优化在这里指不改用户手工写的示范过程，而是把模型放进已有智能体环境里反复做题、按奖励更新参数。

奖励对着标准答案，规则裁判要精确匹配

页面把底层写成强化学习：在环境里试错。泊车例子只用来解释名词。智能体是被训练的模型。环境是已经配好的智能体运行环境，包括预设 Prompt、知识库、插件和 MCP。动作包括回复文本、推理过程、工具选择、工具参数，以及一次任务里的多步工具调用。奖励是拿模型输出和标准答案比：可以用奖励规则（正则或数值），也可以用生成式裁判打分。

页面写，小尺寸模型通过不断做题和拿分，学会这个业务场景的作答。没有给出优化前后的分数。

三阶段：置换模型、组内对比、再挑快照

阶段一准备要优化的智能体、训练数据、基础模型和奖励规则。训练开始后：

• 问题字段 input 送进智能体环境。这时智能体里的模型已经被换成正在训练的模型。
• 答案字段 reference_output 是裁判中心的评分基准。规则裁判要求答案和预期结果精确匹配。大模型裁判对回答的语义质量综合评分。

阶段二是在线强化学习。页面写系统不会让模型死记硬背，模型在真实环境里探索，不是直接拟合固定答案。三步是：

• 模型置换：被训模型直接换进智能体。
• 循环训练：生成回答，裁判按规则或大模型打分，再用页面写出的算法名 GRPO 按得分反向更新参数。页面没有给出 GRPO 的全称。得分高就巩固，得分低就纠正。页面把循环写成「尝试作答 > 自动打分 > 自我进化」。
• 群组对比：同一个问题同时生成多个候选回答并分别打分，强化高分策略、抑制低分策略。

如果智能体配了插件或 MCP，训练时这些能力留在环境里。模型按真实链路做多步工具交互，系统再按最终结果或运行轨迹打分并更新。

阶段三保存模型快照。页面让用户看训练监控看板上的得分图表，选综合得分最高且最稳定的快照，部署后替换智能体里的原模型。页面没有给出看板指标的定义，也没有样例分数。

客服例子：精确匹配把解释句打成低分

电信客服意图分类。训练数据一条：问题是「宽带用着怎么断了」，标准答案是「故障报修」。

1. 小尺寸模型换到工作流的意图识别节点。
2. 模型对「宽带断了」同时生成多个候选回答，做 GRPO 群组对比。页面这里把问题写成「宽带断了」，和训练数据原文「宽带用着怎么断了」不完全相同。
3. 裁判用精准匹配：回答「故障报修」得高分；回答「根据您的描述，应该是故障报修」得低分，原因是多了废话。
4. 对比得分，强化只输出「故障报修」，抑制带解释的输出。
5. 重复以上过程数百次，模型逐渐只输出意图标签。

「数百次」是这个例子的说法，不是一次实测的训练步数。高分和低分都没有写成具体数字。

和 SFT 比，数据可以不写思维链，但奖励能被钻

表 1 对比传统大模型微调（SFT，用示范数据做监督微调）和模型优化：

• 目的：SFT 是行为克隆，模仿对话风格、指令遵循、工具调用和输出格式。模型优化是对齐和单点突破，例如严格格式、提高数学或逻辑准确率。
• 学习：SFT 是离线模仿，逐 Token 对标准答案算误差，不和真实环境在线交互。模型优化是在线试错，在受 Prompt 和工具约束的智能体环境里生成完整动作序列，再按最终得分改策略。
• 数据：SFT 要高质量「输入 > 输出」。复杂推理还要人工写思维链，数据量通常数万条。模型优化只要问题和最终标准答案，不要求人工写中间推理。
• 局限：SFT 在数据覆盖不到时泛化不足，过度训练会过拟合，退化为只背答案，也难超过示范数据的质量上限。模型优化用 GRPO 对最终结果做奖惩，页面称格式遵循能力远超 SFT，并有参考模型约束来减轻遗忘。局限写明：奖励规则设计不当会「奖励作弊」，模型钻规则漏洞拿高分，而不是真正改好输出；训练效果对数据质量和奖惩配置高度敏感。

页面没有给出「远超 SFT」的对照实验数字。接下来的三篇是快速体验、创建任务和准备数据集，不在本页。

这篇没有测出来的东西

没有优化前后准确率，没有 GRPO 的组大小、学习率或训练轮数。数百次和数万条都是说明用的量级，不是这次任务的记录。规则裁判的精确匹配会把带解释的正确意图打成低分，页面把它当成要强化的行为，没有讨论业务上是否该保留解释。奖励作弊被点名，但没有给出作弊样本。

出处：华为云，华为云，模型优化的原理，2026-09-30，https://support.huaweicloud.com/ops-agentarts/agentarts_14_0095.html