AI GUI 测试的社区与工具：从视觉驱动到传统平台增强

2024 年以后，GUI 自动化测试的社区讨论大致分成三摊：用视觉模型直接操作界面的开源智能体，把 AI 嵌进原有元素定位和视觉回归的商业平台，以及测试之家、QECon 这类中文交流场。

视觉驱动的开源智能体

Midscene.js（GitHub：web-infra-dev/midscene，MIT）把自己定义成面向端到端测试的 GUI Agent。用法是用自然语言描述操作目标，由多模态模型规划并操作界面，覆盖 Web、Android、iOS、HarmonyOS 和桌面。官方中文文档列出的可接入模型包括 Qwen、Doubao、GLM、Gemini 和 UI-TARS，也支持自托管。它建立在 Playwright、Puppeteer、scrcpy、Appium、WebDriverAgent 等已有驱动之上，是在现有自动化上面加视觉规划，不是另起一套设备农场。

官方文档给出过一组自测：在他们称为 AppControlBench 的 60 个任务上，搭配 Doubao Seed 2.1 Turbo，模型费用约 0.59 美元，58 个任务通过。这是项目方自己的报告。选型时要在自己的回归集上重跑，并打开每步截图报告。

browser-use 是 Python 社区里常被当作浏览器智能体底座的项目。腾讯云开发者社区的工具盘点把它和 Midscene 对照：Midscene 强调跨端测试与自然语言；browser-use 更专注 Web，常被其他智能体拿去当浏览器操作层。

UI-TARS 位于模型层。常见用法是测试框架负责打开设备、截图和回放，UI-TARS 负责从截图预测点哪里。Midscene 文档也把它列为可选视觉模型。它解决的是看懂并点中，断言、用例管理和 CI 仍要测试框架来做。

国内分享里还有飞猪一类行业 GUI Agent：用思考、行动、观察的循环处理值机、预订等长流程，并用视觉模型加 OCR 应付弹窗和加载。这类系统能不能直接用，取决于对方有没有公开运行时。

传统测试平台上的 AI 增强

另一条路不是让模型自由探索，而是降低原有脚本的维护成本。和 GUI 相关、工具目录里已经收录的代表是：

社区盘点常把 Midscene、Testim、Applitools、browser-use 放在一张表里比上手难度。这种表只能当目录。视觉智能体灵活，但费用和复现成本高；元素自愈和视觉回归更稳，但覆盖不了没有脚本的探索。

中文社区可以去哪里看

测试之家（TesterHome）长期有 AI 测试、自动化工具等节点。站内帖子更新快，适合找踩坑记录，不适合当作基准论文。QECon 全球软件质量效能大会 2025 年北京站把 Web UI、界面智能化、UI 自主测试智能体和 GUI Agent 合规判定放进同一届议程，是目前较集中的中文工业分享入口。

英文侧继续追踪，优先看三类一手来源：showlab/Awesome-GUI-Agent 的论文清单、trycua/acu 的 Computer Use 资源列表，以及 Midscene、Playwright、Applitools 的官方文档。Anthropic Computer Use、OpenAI 的浏览器智能体迭代很快，引用时写明日期。

落地时的最小组合

1. 执行层先选已有驱动：Web 用 Playwright，移动端用现有设备云或 Appium，不要先换运行时。
2. 感知层再决定：结构稳定就继续选择器；跨端、画布、无源码再加视觉模型。
3. 断言层分开：视觉差异交给 Applitools 一类工具或显式规则，不要让操作模型给自己判通过。
4. 报告层保留截图、坐标和模型原始输出，否则失败无法复盘。
5. 账号、支付和生产数据不要放进智能体浏览器。