金融题超过 2.6 万，GPQA 钻石只有 448：华为云预置评测集按名字给规模

金融题超过 2.6 万，GPQA 钻石只有 448：华为云预置评测集按名字给规模

华为云魔坊（ModelArts，华为云的模型训推平台）文档《预置评测集说明》页面标注的更新时间是 2026-09-22 GMT+08:00。页面没有另给首次发布时间。预置评测集在这里指一组已经设计、标注并标准化的样本，用来测模型在特定任务上的表现。页面没有给出 ModelArts 上任何模型的得分。

十四个名字，规模只写了其中几个

表 1 共 14 行。下面按页面原文记下有数字的，和没给规模的。

有数字的：

• GPQA_Diamond：生物、物理、化学专家编写并验证的多选问答，448 道极难题。页面写它用来测跨学科，尤其是非本行专家答别的学科，例如物理学家答化学题。
• C-Eval：中文基础数据集，52 个学科，四个难度。页面用来评中文理解。
• GSM8K：页面写成 OpenAI 发布的推理基准，8.5K 道小学数学题，评数学运算。
• BBH：页面写成包含 204 项任务，覆盖语言学、儿童发展、常识推理、社会偏见、软件开发等，评困难任务。页面没有给出这 204 项的清单。
• FinEval：金融基准。题型包括选择题、主客观简答、推理规划和检索问答，超过 26000 道。范围写成金融学术知识、金融行业知识、金融安全知识、金融智能体、金融多模态和金融严谨性。页面没有把 26000 拆到这六类。

没给题量的：

• MMLU-Pro：这一行的说明写的是 MMLU，57 项子任务，基础数学、计算机科学、法律、历史等，评世界知识和问题解决。页面没有解释 MMLU-Pro 和 MMLU 的差别，也没有给 Pro 自己的题量。
• BoolQ：是/否问答，题目来自真实查询，页面说未经特定引导。没有题量。
• AGIEval：法学院入学考试（LSAT）、高考、SAT、数学竞赛、律师资格考试等。构建时去掉主观题，只留选择题和填空题。没有题量，也没有各考试的占比。
• MathBench：评理论概念和应用解题。没有题量。
• ARC Challenge：逻辑推理和问题解决，页面说题目来自不同领域，评高级推理。没有题量。
• CMMLU：页面写成 MMLU 的中文版，覆盖人文、法律、工程、数学等。没有题量，也没有和 C-Eval 的对照。
• OpenFinData：东方财富与上海人工智能实验室联合发布的开源金融评测集。页面称它代表真实产业场景，是目前场景最全、专业性最深的金融评测集，基于东方财富业务。没有题量，没有和 FinEval 的对照实验。
• MedMCQA：医学入学考试式多项选择。没有题量。
• PubMedQA：用 PubMed 摘要回答是/否/可能。每条四部分：问题（来自论文标题或由标题衍生）、上下文（摘要去掉结论）、长答案（摘要结论）、以及是/否/可能的短答案。页面举的例子是术前他汀是否减少冠状动脉旁路移植术后房颤。没有题量。页面写它是首个要依据生物医学研究文本、尤其是定量内容来推理的问答集。这个「首个」没有附文献对照。

这页没有写的评测动作

页面没有写自动评测还是人工评测，没有写基于规则还是基于大模型裁判，没有写评分模式和对比模式。同一天更新的《评测任务功能说明》（model-evaluation-modelarts-0003）才写这些，不在本页。创建评测任务的页面更新时间是 2026-10-10，超出本文所用原文的日期范围，步骤不从那一页搬过来。

页面也没有抽样方式、训练数据去污、裁判模型、提示词和通过线。OpenFinData 的「最全、最深」和 PubMedQA 的「首个」都是页面原话，没有附在本页的比较表。

出处：华为云，华为云，预置评测集说明，2026-09-22，https://support.huaweicloud.com/model-evaluation-modelarts/model-evaluation-modelarts-0008.html