看见强、判断弱：PhysVista 用三段闭环测视觉语言模型的物理智能

看见强、判断弱：PhysVista 用三段闭环测视觉语言模型的物理智能

PhysVista 是一套评视觉语言模型（VLM，能同时看视频和读文字的模型）物理智能的基准。论文 arXiv:2610.00559v1 的页面提交日是 2026 年 9 月 30 日，许可证为 CC BY 4.0。作者是 Xinge Peng、Yiting Lu、Tianwu Zhi、Wen Wen、Jianzhao Liu、Xin Li、Zhibo Chen。机构并列写了中国科学技术大学、字节跳动和香港城市大学，HTML 没有给每人单独的上标，不能把七个人都算成字节员工。项目页是 https://github.com/Helen1p/PhysVista 。被测名单里的 Doubao Seed 2.0 Pro 是字节的模型，和「字节是作者机构之一」不是同一件事。

作者认为现有基准把物理理解拆散了：有的只看感知，有的只看因果，几乎不评模型能不能给生成视频的物理可信度打分、排序。PhysVista 把同一套真实视频和 AI 生成视频放进看见、推理、评估三段，用来诊断能力断在哪一段，而不是再报一个总分。

现有基准缺了哪一段

对照表把 IntPhys2、PhysBench、CausalVQA、MVP Bench、PAI-Bench 和 PhysVista 放在一起。IntPhys2 用仿真，偏违反预期的浅层判断。PhysBench 覆盖物体属性、空间关系、场景动态和运动，但作者指出它有语言捷径。MVP Bench 用受控的最小视频对来减少捷径。CausalVQA、CoPhyBench 做结果预测和干预条件下的因果。考试式物理题评的是结构化解题，不是开放场景。PAI-Bench 面向具身和机器人，有空间和不确定性相关项，但表里没有定位、相机、尺度、时序、因果之后的打分和比较。表 1 里，只有 PhysVista 同时勾上空间、时间定位、相机运动、定量尺度、不确定性、时序、因果、打分和比较，数据来源写成 Real + Generated Videos。

作者把重点放在任务定义、重标注和统一评测，不是新拍一批视频。除相机运动外，视频来自真实数据集 WISA-80K 和生成数据集 VideoPhy-2。相机运动用 Multi-CamVideo 的相机位姿。

看见：先恢复看得见的物理状态

感知阶段看模型能不能从画面恢复可观察状态，分成五块。

空间状态再拆成四种子类型：相对关系（左右、远近、包含、支撑）、交互（接触、碰撞）、场景上下文（地形、天气、表面）、空间可行性（尺寸是否装得下、构型是否几何上可实现）。时间违规定位要求标出物理不一致发生的起止时间，粒度到秒，不是整段视频判一个真假。相机运动分成十类，只收单一主导运动、没有干扰运动的片段。定量尺度不让模型说「更大」，而要写出物体相对比例的分数，例如 1/3。物理不确定性分成参数不确定（摩擦力、反射率等看不见的参数是否无法从画面确定）和结果不确定（信息不全或过程太长时，未来结果本身是否不可判定）。结果不确定的正确项固定是 Indeterminate，依据 VideoPhy-2 的不确定结果标注。

感知题都是单选。除相机运动外，先去掉过简、缺少多物体交互或缺少有效物理动态的片段。题目用人工写的固定模板：和具体内容无关，不做槽位填充，减少文字提示。空间选项来自抽帧和原数据集字幕。时间定位的起止由人标。相机类别由位姿自动归类：先分纯旋转（摇、俯仰）和带旋转的平移，再按几何标准把后者分成环绕和纯平移。尺度的分数真值由人标。参数不确定题用 Gemini 3.1 Pro 出题，再人工核对。凡是真值由 VLM 生成的任务，包括空间状态和参数不确定，都要人核；风格太像模型腔的样本由人改写。

附录表 5 的题量是：空间 200、定位 200、相机 200、尺度 60、不确定性 180。尺度只有 60，不能和 200 题的任务比绝对对题数。十类相机在定义表里按成对方向合并描述：Arc Left/Right、Pan Left/Right、Tilt Up/Down、Translate Up/Down，再加上 Static 和 Zoom Out。

推理：时序好做，预测和反事实难

推理阶段不再停留在「看见了什么」。时序重建给不等间隔打乱的帧，让模型排回符合物理的事件顺序，并要求对生成视频里的小不一致保持稳健。因果再拆五项：机制推理（解释原因，不描述外观）、原理违背（找出违反守恒、重力等原理的全部实例，可以多选）、动态预测（只给前段，藏住结果，还要分清停在参考点之前还是正好停在参考点）、反事实（改一个关键条件，例如摩擦或施力，再预测结果）、违规批评（指出不合理处，并给出改哪一个物理因素才能变得合理）。

过滤规则写得很具体。批评题丢掉同时违反多条原理的视频。原理违背题去掉含糊的中间态。预测题只输入前段。除原理违背外都是单选。除反事实外，问题用固定、与内容无关的模板，用来压低不看视频也能答对的语言捷径。反事实先让 Gemini 3.1 Pro 根据抽帧，以及 WISA-80K 的字幕或 VideoPhy-2 的事件标注，找出主事件；条件改的是场景（例如把冰面换成鹅卵石路），不直接说参数变了。

选项有四条共同原则：都符合基本物理直觉；都贴着视频；正确项的因果解释力明显更强；错误项在事件结构或尺度粒度上接近正确项。时序干扰项只交换相邻帧。机制和反事实分三步：先生成并排序四个粗选项；再把每个粗选项细化成语义接近的变体；最后既可以各取组内第一名做粗选，也可以在同一组里抽多个变体做细选。原理违背的正确项来自已标注的被违反原理，干扰项从同一上下文里没被违反的原理抽取，因此可能多对。预测的正确项来自被藏起来的后续片段。批评题让 Gemini 3.1 Pro 对已标注的违背做最小改写，使场景变得物理自洽，用来约束幻觉；干扰项同时有事件级和尺度级。

人工核验做三件事：保证质量；删掉不看视频也能答对的样本；改写能认出是模型口吻的句子。图 2 的 video-blind 实验被用来说明数据集没有明显语言捷径。图本身的数值没有写进正文，这里不补。

附录表 6 的题量是：时序 150、机制 192、原理违背 224、预测 135、反事实 119、批评 100。加上后面的打分 200、比较 100。感知 840 加这 1020，两表合计 2060。原文没有另给一个总数，2060 只是两张表相加。

评估：1 到 5 分，以及三种视频对

评估看整段视频的物理可信度，尤其是生成视频里很轻的不一致，并要求按严重程度校准，而不是二元的真假。打分是单视频 1 到 5。比较是判断两段里哪一段更可信。VideoPhy-2 自带 1 到 5 的标注，生成视频按五个分数档均匀抽样。WISA-80K 的真实视频当作物理一致样本，赋最高分 5。问答仍是固定模板的选择题。比较有三种对：真实对生成、真实对真实、生成对生成。生成对生成控制语义相近，大多数对的分数差不超过两档。

数据生成用 6 名标注员做标注和核对。评数据质量时另招 5 名独立评估员，对基准中 40% 的样本按 1 到 5 分评语言中性、问答精度和物理推理有效性。这三项只有图 5 到图 7，正文没有列出均分，不能写成「人工满分」。

指标和总表：感知高于推理，尺度和不确定性垫底

定位用 mean IoU。打分用 SRCC 和 PLCC，不是准确率。原理违背在总表里用 Micro-F1，其余用准确率。Avg. Acc. 按任务题数加权。下面两表按原文照录百分数。模型名保留原文，包括 Gemini 3.1 pro 的大小写。

感知与评估（空间 / 相机 / 尺度 / 不确定性 / 加权准确率 / 定位 IoU / 打分 SRCC/PLCC / 比较）：

推理（时序 / 机制 / 违背 Micro-F1 / 预测 / 反事实 / 批评 / 加权准确率）：

感知加权最高是 GPT-6 Sol 的 68.59%，其后 Claude Opus 5.5 65.78%、GPT-5.2 64.06%、Kimi K2.5 61.56%。Doubao Seed 2.0 Pro 是 59.69%，排在这四名之后。空间最高是 GPT-5.2 的 85.00%，Doubao 77.50%。相机最高是 GPT-6 Sol 的 74.00%，Doubao 59.50%，Qwen3-VL-8B 只有 22.00%。尺度全场最高只有 GPT-5.2 的 43.33%，Qwen3.5-27B 低到 18.33%。不确定性最高是 GPT-5.2 的 76.11%，Doubao 50.00%。定位 IoU 最高是 Claude Opus 5.5 的 54.87%，没有模型过 55。打分相关最高是 GPT-6 Sol 的 0.6141/0.5586；Qwen3-VL-8B 的 0.0240/0.0071 接近无关。比较准确率最高是 Qwen3.5-27B 的 59.00%，Claude Opus 5.5 和 Doubao 都是 57.00%。

推理加权最高是 Claude Opus 5.5 的 67.89%，GPT-6 Sol 62.68%，Gemini 3.1 pro 60.20%。Doubao 和 Kimi K2.5 都是 60.06%。时序上 Doubao 91.33% 为全场最高，Claude Opus 5.5 90.67%，Kimi 90.00%，但 GPT-5.2 只有 41.33%，Grok 4 46.67%。机制最高是 GPT-6 Sol 77.60%。预测最高只有 Claude Opus 5.5 的 58.52%，Doubao 35.56%，Grok 4 22.96%。反事实最高 49.58%，同样是 Claude Opus 5.5。批评相对高，GPT-6 Sol 88.00%，Grok 4 仍有 56.00%。

原理违背的 Micro-F1 不能当成「找全了」。附录表 7 同时给 exact-match、原理类型 Macro-F1 和选项级 Micro-F1。Micro-F1 与上表违背列一致。exact-match 最高只有 Qwen3-VL-8B 的 20.98%，GPT-5.6 Sol 20.54%，Claude Opus 5.5 15.63%，Doubao 14.29%，Qwen3.5-397B-A17B 7.14%。Macro-F1 最高是 Claude Opus 5.5 的 60.41%，Doubao 49.12%，GPT-5.2 只有 35.93%。主表写 GPT-6 Sol，这张附录写 GPT-5.6 Sol，两处名称不一致，原文没有解释，这里照录，不把它们合并成同一个已核实型号。

三段排名对不上，生成视频把细错误放大

4.2 节把落差定义成同一模型在三段里的名次不一致，不是再算一个新分数。感知加权第三、第四是 GPT-5.2 和 Kimi K2.5，到推理表上名次明显下降。作者据此说，看得见不等于能做因果；推理依赖感知，但名次下滑不能只怪感知。推理加权上，Gemini 3.1 pro 第三，Doubao 与 Kimi 并列 60.06%；文中把 Gemini 和 Doubao 写成第三和第四（原文用了 forth）。到评估表，二者的细粒度打分不再领先：Gemini 的 SRCC/PLCC 只有 0.3087/0.3087，Doubao 0.4018/0.3949，都低于 GPT-6 Sol 和 Claude Opus 5.5。作者的判断是：模型有时能指出违背了哪条机制，却不会按严重程度把可信度校准到细档。Doubao 的比较准确率 57.00% 并不低，不能把「评估变差」读成比较题也垫底。

4.3 节解释难度差。时序往往靠物理常识和帧之间的连贯就能做，所以普遍高于因果。预测和反事实更依赖时间演化：预测多是对已观察到的运动做外推，反事实还要在假设干预下模拟结果。同一模型里这两项可以差一截，Doubao 就是反事实 40.34%、预测 35.56%。作者没有给每一项的错误类型计数。

4.4 节比较真实视频和生成视频，数字在图 3(a)，正文没有逐任务的百分点。能写下来的结论是：多数任务上真实视频更高，存在系统的泛化差；空间感知和时序掉得少，不确定性意识和动态预测掉得多。作者解释为模型依赖真实数据里常见的一致模式，生成视频里的轻违背会在推理过程中对不上。尺度估计是例外，生成视频略好于真实视频。给出的可能原因是生成画面几何更干净、物体配置更受控，真实场景背景杂、测量含糊。这是解释，不是单独的对照实验。

4.5 节写了两种失败。打分崩溃：Qwen3-VL-8B 和 Kimi K2.5 把很大比例的预测堆在最高分，真实和生成都这样。真实视频的「做对」可能只是因为标签就是 5 分，而 5 分又是默认输出。Gemini 3.1 pro 和 Grok 4 则把默认分放到最低档，真实视频成绩会明显变差。作者把这归于模型对某些分数 token 的先验，没有给各档的直方图数字。真正会打分的模型应把真实视频集中在高分、生成视频铺到低分。比较题里，真实对生成最容易，主要考能不能拒绝明显不合理；生成对生成要在语义相近的不完美样本里排细差，难很多；真实对真实时两边都成立，模型仍倾向硬选一个，准确率低。作者因此说比较任务需要显式的「相等」选项。三种对的准确率只在图 3(b)，正文没给数。

这些数字不能被读成什么

结论只声称：现有 VLM 的语义感知强，物理智能在整段闭环上仍不完整。没有线上业务指标，没有 A/B，也没有第三方复测。60 题的尺度、100 题的批评和比较，波动会比 200 题的任务更大。Gemini 3.1 Pro 参与了参数不确定、反事实主事件和批评改写的出题，同一模型又出现在被测名单里；原文只写了人工改写、删除 video-blind 可答样本，以及图 2 用来说明无语言捷径，没有报告出题模型偏差的量化实验，不能自行补一个偏差百分点。6 名标注员和 5 名评估员的 40% 抽查没有公开均分。机构是三家并列，这篇不是字节单方技术博客。Doubao 的强项是时序 91.33% 和比较 57.00%，弱项是尺度 30.00%、预测 35.56% 和原理违背 exact-match 14.29%。

出处：字节跳动，Xinge Peng、Yiting Lu、Tianwu Zhi、Wen Wen、Jianzhao Liu、Xin Li、Zhibo Chen（中国科学技术大学、字节跳动、香港城市大学），PhysVista: Benchmarking Physical Intelligence in VLMs via a Perception-Reasoning-Assessment Loop，2026-09-30，https://arxiv.org/abs/2610.00559