RCA Benchmark：阿里云把根因分析变成可复现的 Agent 评测

来源：阿里云官方博客，2026 年 8 月 5 日发布的 RCA Benchmark 介绍。

Agentic Ops 为什么需要 RCA 专项评测

根因分析不是把一段日志交给模型后生成一段解释。面向持续运行的分布式系统，诊断 Agent 需要从指标、日志、Tracing、告警、资源拓扑、Kubernetes 事件和性能剖析等多源观测中筛出有效信号，沿服务依赖和实体拓扑追踪异常传播，最后定位真正的故障根因。前端 5xx、服务延迟上升等往往只是传播链末端的症状，不能替代根因判断。

阿里云发布 RCA Benchmark，目标是建立标准化的根因分析数据集、运行环境和评测协议，用于比较不同 Agent 的诊断能力，也让能力迭代能够被量化、复现和审计。项目由阿里云联合中国信通院、中国科学院软件研究所／计算机网络信息中心、清华大学、复旦大学和南开大学等机构共同推进。

三部分组成的评测系统

RCA Benchmark 不是一份静态日志题库，而是一套闭环基准系统，包含三个部分：

• 运行环境：构建能够产生真实故障信号的微服务模拟系统，允许 Agent 交互式查询，避免只给标准日志片段的单步作答。
• 结构化样本集：每个故障样本包含故障类型、归一化根因实体、因果传播链和关键证据检查点四类结构化真值。
• 评测协议：把 Agent 输出转换成可横向比较的量化分数，尽量用确定性规则减少对大模型裁判的依赖。

项目覆盖微服务、数据库与中间件、容器编排与云原生平台、云资源，以及大模型和 Agent 运行时等主要故障场景。

用接近生产的环境还原故障传播

基准以电商微服务架构为基础，部署在 Kubernetes 集群中，包含 40 多个业务服务，调用链最长达到 7 层，覆盖同步 RPC、异步消息、数据库、缓存、消息队列和网关等依赖。系统接入全域可观测能力，支持查询指标、日志、Tracing、告警、资源拓扑、Kubernetes 事件和性能剖析七类数据，并通过持续注入差异化背景流量模拟昼夜波动、业务峰值和定时批处理，从而形成故障前后的可比较基线。

这套设计的关键是让 Agent 自己完成信息获取和跨工具诊断，而不是从输入文本中猜答案。一个数据库慢查询可能先表现为 MySQL 查询耗时上升，随后传导到调用服务延迟、上游超时，最终成为前端 5xx；只有把这条传播链和证据关系还原出来，才能判断诊断是否真正成立。

四层真值与三维加权评分

项目引入四层结构化真值，放弃只有一个根因标签的简化方式：先定义故障语义，再统一实体身份，接着描述因果传播链，最后标出关键证据边界。对应的评分框架由根因识别、边界界定和诊断过程三部分组成，权重分别为 40%、30% 和 30%。

其中接近 70% 的分数可以依据故障类型拓扑语义距离和实体拓扑距离进行确定性计算，结合故障语义匹配、拓扑定位准确度、诊断证据和因果逻辑完整性进行分层评价。这样既能区分命中症状与命中根因，也能避免只凭文字相似度给出不稳定结论。

为解决跨系统实体命名不一致的问题，平台引入统一实体模型 UModel，为应用性能管理、Kubernetes 和云资源等域中的同一实体分配跨域唯一主键，并据此完成实体映射和拓扑距离计算。

覆盖故障类型，并用质量门过滤样本

RCA Benchmark 通过混沌工程工具、Kubernetes 原生运维、开关配置和阿里云服务 API 四类注入渠道，覆盖 6 个类别、40 多种故障类型，形成纵向分层、横向均衡的故障覆盖图。系统还建立 GSTO Quality Gate，从结构规范、信号有效性、时间窗口和开放适配性等方面检查样本，过滤故障链混淆或证据不足的案例。

截至官方文章发布时，项目已积累 200 多个合规样本，并按 L1 至 L4 划分难度，重点关注 L2、L3 中高难度场景。核心评测框架、故障目录、评分协议和质量门向社区开放，同时保留非公开测试样本和合规门槛，以降低数据污染，维护评测排名的公平性。

对 O&M Agent 落地的意义

RCA Benchmark 把根因分析从一次性的演示题，转成可以复现、量化和审计的工程能力。对企业来说，选型时不能只看 Agent 是否能说出一个看似合理的服务名，还应检查它是否能：

1. 在多源观测之间建立统一证据链；
2. 区分故障症状、传播中间节点和真正根因；
3. 给出与实体拓扑一致的边界判断；
4. 通过可重复的诊断步骤支撑结论。

这也意味着评测环境本身是能力定义的一部分。没有持续运行的系统状态、可交互的工具查询和结构化真值，仅凭静态日志或单一标签，很难判断 Agent 是完成了推理，还是偶然命中了告警附近的实体。

出处：阿里云，Alibaba Cloud Community，《Alibaba Cloud Releases RCA Benchmark, the Industry's First Open Source Root Cause Analysis Benchmark System for Agentic Ops》，2026-08-05，https://www.alibabacloud.com/blog/alibaba-cloud-releases-rca-benchmark-the-industrys-first-open-source-root-cause-analysis-benchmark-system-for-agentic-ops_603252。