普林斯顿AI Lab出题,「空间智能」大考:人类83.3%,大模型最高39.7%

AI 真的能理解三维世界吗?

规划下一步动作、在杯子被挪走后及时调整、赶在环境变化前完成操作,动态任务不断向 AI 提出更复杂的空间要求。支撑这些行为的一块基础,是对眼前空间的可靠理解:物体在哪里,不同视角的观察能否彼此一致?

普林斯顿 AI Lab 的研究者们带来了一张空间智能新考卷:Same Space or Not(SSoN)。它拿掉了实时变化和动作控制,只给四张静态室内图像,让模型找出其中违背同一场景的那一张,并解释为什么。

  • 项目主页:https://sson.aisexam.com/
  • 论文链接:https://arxiv.org/abs/2610.23959
  • 数据集:https://huggingface.co/datasets/HuiziCao/SSoN
  • 代码链接:https://github.com/sson-benchmark/SSoN
  • 微调权重:https://huggingface.co/HuiziCao/SSoN-Qwen2.5-VL-7B-LoRA

结果却拉开了明显差距:在完整 1,000 道题上,人类准确率达到 83.3%。六个受测视觉语言模型(VLM)中,GPT-6 Astra Pro 以 39.7% 领先,其余五个全部低于四选一的 25% 随机基线。没有动态交互的复杂性,人机差距已经出现在更基础的静态跨视角理解上。

为什么会低于 25%?这是等概率盲猜的期望,并非能力下限。SSoN 专门构建了“看着像变了、空间上却正确”的强干扰视图。模型若能发现外观差异,却无法判断它是否来自视角变化,就可能被系统性带偏,表现反而低于盲猜。这不等于毫无视觉能力,而是暴露出从识别差异到理解空间之间的缺口。

而 39.7%,还只是选对答案的成绩,其中一些回答的理由仍然站不住脚。

为什么 17 个视觉编码器全部低于随机线?让模型实际执行三维重建,为什么仍没答对一半?这张考卷把 “空间智能卡在哪里”,一层层拆了出来。

图 1|SSoN 任务与完整 1,000 题上的成绩。人类答案准确率 83.3%,受测 VLM 最高 39.7%;柱状图进一步区分有充分证据支持的正确选择与解释不成立的正确选择。

空间智能的集体偏科:

交换和细节相对容易,旋转和移动却成共同盲区

SSoN 的规则很简单:四张图中,三张来自未改变的三维场景,一张来自编辑后的版本。没有指定的 “正确参考图”,也没有提前标出的异常物体。模型要自己决定:哪些观察能够相互印证,哪一张无法与它们共存。

图中的篮球就是一个缩影。B 和 D 共同确认了它的位置;C 没拍到那个位置,还露出了其他视图没有展示的物件,但这都可以由视角变化解释。A 却拍到了篮球应在的位置,篮球仍然缺席。关键在于空间关系能否自洽,单凭 “看起来不一样” 很容易选错。

把成绩按题型拆开,六类编辑大致呈现出三个难度层次,也勾勒出当前模型空间能力的不同缺口。

交换和细节变化,是模型的相对优势区。两个物体交换位置,或同一个物体的形状、颜色、纹理等发生外观变化,都能为判断提供物体对应与外观差异的线索。六个受测模型在这两类上的准确率,均高于各自的整体成绩;成绩最好的 Astra Pro 两类均达到 80% 以上。

镜像和删除处于中间层,但对多数模型仍然很难。镜像题需要判断房间结构是否真的左右翻转,排除相机换边造成的视觉变化;删除题则要区分 “物体真的消失了” 和 “只是被遮挡、移出了视野”。看不到,不等于不存在。镜像题上,除 Astra Pro 外,其余五个模型全部低于 25% 的随机基线;删除题上,这五个模型的最高成绩也只有 Sol Pro 的 42.57%。

移动和旋转,则暴露出更普遍的几何推理短板。六个模型在移动题上的准确率最高的仅为 27.20%;旋转题更低,最高也只有 9.54%。而人类在这两类上均达到 70% 以上。在之后的实验中,尽管明确告知模型六类编辑分别是什么,依然不能有效提升这两类的分数。

椅子在画面里换了位置和朝向,究竟是椅子动了,还是相机动了?当房间里还有几把外观相同的椅子时,模型必须先认准同一个实例,再结合桌子、墙面等参照判断它的位置与方向。认出物体、发现外观差异之后,模型还需要跨过 “理解三维关系” 这一关。

SSoN 把这样的考验扩展到七个室内场景来源,覆盖交换、细节变化、镜像、删除、移动和旋转六类三维编辑。1,000 道题、4,000 张图像,让总分之下的能力差异逐一显现:哪些变化模型已经较容易捕捉,哪些空间关系仍会让它们集体失分。

图 2|七个场景来源、六类三维编辑,以及不同图像格式和物体尺度。视角变化可以制造视觉差异,真实编辑也可能只留下局部线索。

换成 17 个视觉编码器,仍然全部低于随机线

换一种解法呢?既然只有一张异常图,直接找出与其他三张最不相似的那张,是否就够了?

研究者用 CLIP、ViT 和 DINOv2 系列共 17 个视觉编码器测试了这个思路。以图像特征相似度选择离群视图,准确率只有 16.9% 至 21.7%,全部低于 25% 的随机基线。

这个结果把强干扰的作用具体呈现了出来:正确的新视角可能改变大片可见内容,真实编辑却可能只留下局部线索。依赖全局外观差异的选择规则,无法可靠地区分二者。

VLM 也会被这种表面差异带偏。在开发阶段的诊断实验中,合法但容易误导的视图吸引了更多错误选择;将它替换为清晰的正面参照后,多类题目的成绩明显改善。替换同时减少了干扰、增加了直接证据,也让困难的位置更清楚:变化摆在眼前时能认出,并不保证换个视角仍能推理出来。

人可以暂时接受一个陌生视角,再核对其中与其他图有关联的物体。SSoN 检验的,正是模型能否完成这一步跨视角的空间整合。

连选对的答案,也有近三成解释过不了关

比低分更值得注意的是,有些正确选项,也未必对应正确的空间判断。

模型可能选对 A,却声称一个根本没有变化的物体被移动了;也可能给出真实但不足以排除其他视图的线索。只看 A、B、C、D,这些回答都会被计为正确。

SSoN 因此同时检查答案与证据。True solve 要求选择正确,而且解释符合图像事实、足以支持跨视角矛盾判断。六个模型合计 1,368 次正确选择中,29.5% 没有通过这项检查。最高模型成绩也从 39.7% 的答案准确率,降至 34.9% 的 True solve。

接近三成的正确选择缺少有效支持,说明 “选对了” 仍不能替代 “说清楚了为什么”。这一检查针对模型写出的解释,不推断它内部究竟如何思考。

那么,会不会是题目本身太刁钻,根本没有足够证据?

SSoN 在出题和阅卷两端都做了核验:构建时要求异常图及至少两张正常视图提供可用证据,排除多解题和明显渲染捷径;阅卷时,所有选对的模型回答都经过人工证据复核。超过 10,000 个开发候选题的迭代,让人工发现的问题不断变成新的生成约束,最终留下这 1,000 道题。

考卷需要有解,答案也需要有据。模型才能被要求真正指出场景中的矛盾。

图 3|SSoN 通过自动检查与逐题人工核验保证题目证据与唯一答案,并排查视觉捷径。解释评价另行覆盖全部正确选择,由人工确定最终标签。

提示、重建、相机参数,哪种帮助能救场?

既然困难出在跨视角推理,多教模型一点解题方法,或者让它真的重建一次三维场景,成绩会不会改观?

研究者另行选定 100 道题组成干预集,其原始答案准确率为 24%、True solve 为 12%。接下来的比较都在这组固定题目内进行。

先看提示。研究者引导模型寻找环境参照、匹配物体、判断遮挡,或先描述场景布局;也直接告诉它六种可能的编辑类型,但不透露当前题目的类型。比较指导与编辑类别知识结合时,准确率达到 48%,True solve 为 34%。提示能够提供帮助,却仍没让模型答对一半。

让模型实际执行三维重建,再检查相机视角呢?这个经过执行核验的完整流程得到 47% 的准确率、34% 的 True solve。删除和细节类表现较好,移动与旋转仍然困难。仅仅把三维重建加入解题过程,还不足以消除几何判断的短板。

最明显的改善,来自直接提供真实相机信息。

在比较指导的基础上,加入 ground truth 相机内参、外参和图像尺寸后,准确率达到 61%,True solve 达到 48%。模型由此获得成像几何与相机相对位置、朝向的信息,不必完全从图像里自行推断这些关系。

移动类题目尤为突出:比较指导条件下,准确率和 True solve 均为 20%;加入相机信息后,两项都升至 70%。这提示,相机几何能够帮助模型区分 “物体在画面里动了” 和 “物体在房间里动了”。

但 61% 与 48% 之间仍有距离。即使拿到真实相机参数,这 100 题中有充分证据支持的正确回答仍不到一半。提示、工具和几何信息能缓解困难,却没有让跨视角理解变得可靠。

空间智能能练出来吗?未见房间里的成绩接近翻倍

如果推理时的帮助还不够,专门训练这种能力,会怎样?

研究者对 Qwen2.5-VL-7B 进行微调,并按关联房间和场景家族隔离 train、val 和 test。模型最终面对的是来自未见房间的 201 道测试题。

未经微调,准确率为21.89%;只监督答案,提升到33.33%;同时提供推理依据和答案监督,达到41.79%。相较原始模型,准确率接近翻倍。

这里的区别,在于训练时是否告诉模型 “证据为什么支持这个答案”。推理依据监督进一步提供变化类型、相关物体与支持视图,让模型学习把跨视角证据和最终选择联系起来;测试时仍需自行看图作答。

最突出的变化同样出现在旋转题。答案监督已经使旋转类准确率达到 32.84%,加入推理依据后,旋转类准确率升至 58.21%。更换四张图的选项顺序后,平均准确率和跨顺序一致答对比例也有所改善。

这给出了一条值得继续追的方向:空间一致性判断可以通过定向监督改善,并迁移到训练时没见过的房间。改善仍不均匀,推理依据带来的额外整体增益也需要更多训练重复验证,但这张考卷已经开始指出哪些能力可以被补上。

AI 走进物理世界之前,先学会理解同一个世界

SSoN 提出的要求很朴素:相机动了,场景可以没变;图像变了,空间关系仍可能一致。

动态空间智能需要将观察转化为规划、决策与行动,而可靠理解当前空间,是支撑这些行为的基础。SSoN 把动作控制与实时变化拿开,让这块基础可以被单独检验:模型能否整合不同视角,接受合理的视觉差异,再找出真正的场景矛盾?

AI Vision Exam 的这张考卷,用受控室内场景把这项能力单独拿出来检验。83.3% 与 39.7% 的落差揭示了当前短板,提示、几何与训练实验则给出了继续追问的方向:我们究竟需要怎样的模型和监督,才能让 AI 在换个视角后,仍然理解同一个三维世界?

欢迎大家亲自试题,也欢迎带上你的模型,来参加这场空间智能考试。

作者信息

SSoN 由普林斯‮大顿‬学 AI Lab 团队完成。第一作者 Huizi Cao为卡尔顿‮院学‬本科生,曾以一作身份在 Nature Medicine 发表论文,团队‮包还‬括来自宾‮法夕‬尼亚大学、Adobe Research 的研究者。项目由普‮斯林‬顿大学 AI Lab 的 Shilong Liu 教授、Mengdi Wang 教‮和授‬西北大学的 Manling Li 教授合作指‮完导‬成。

本文来自微信公众号“机器之心”,36氪经授权发布。