新浪科技

NeurIPS 2026 | 视觉语言大模型不关注场景中的人类,反而靠物体大小判断谁更关键

机器之心Pro

关注

视觉语言大模型(VLMs)已经可以轻松完成诸多复杂的场景理解和视觉问答,但是模型对场景的理解真的和人类一致吗?

先前的诸多计算机视觉研究都指出,看似模型和人类都能在相同的任务达到相同的水平,甚至模型可以超越人类的水平,但是模型和人类依赖的却是不同的特征,从而在很多情况下表现出和人类不一致的行为。

来自加州大学圣塔巴巴拉分校的研究者指出,不论是开源还是闭源的视觉语言大模型对于场景中物体的重要性的理解和人类存在显著不同,视觉语言大模型尤其依赖于场景中物体的大小,居中程度,低级显著性,而对场景中的物体是否是人类并不敏感。

  • 论文题目:Revealing the Gap in Human and VLM Scene Description through Counterfactual Semantic Saliency

  • 论文链接:https://arxiv.org/abs/2605.13047

  • 项目代码:https://github.com/starsky77/Counterfactual-Semantic-Saliency-Data

  • 项目网页:https://starsky77.github.io/Counterfactual-Semantic-Saliency

  • 项目数据:https://huggingface.co/datasets/starsky77/counterfactual-semantic-saliency

贡献一:量化场景中语义显著性的模型评估方法

为什么需要黑盒方法

现代视觉语言大模型参数规模巨大,而且大量模型是闭源的,传统的"白盒"可解释性方法(例如可视化注意力图、梯度热力图)要么无法使用,要么难以揭示真正起因果作用的特征。为此,论文提出了一种适用于所有开源和闭源模型的黑盒评估方法,以量化场景中物体对 VLM 给出的场景描述的影响。 

反事实语义显著性:移走一个物体,看描述变了多少 

反事实语义显著性(Counterfactual Semantic Saliency, CSS)的基本思路就是通过因果干预(Causal intervention),分别检验每个输入元素对输出的影响,来确定场景中每个视觉元素对于场景语义的影响。如果移除场景中的显示器对场景的语义造成了最剧烈的变化,则说明显示器是理解场景最为关键的元素;反之,移除场景里的插座并不会对场景语义造成变化,则说明这些元素的语义显著性不高。

贡献二:反事实场景的人类数据集

307 张原始场景 + 1306 张反事实场景

为了对比人类和模型在场景理解上的差异,研究者基于视觉显著性研究中广泛使用的 OSIE 数据集,构建了一个由 307 张原始场景,以及 1306 张反事实场景组成的数据集。其中每个原始场景对应 3-6 个反事实场景,在每个反事实场景中都有一个对应的物体被移除。

227 名被试、16603 条描述构成的人类基线 

论文通过 Prolific 平台收集了 227 名人类被试的场景描述数据。为了避免记忆效应和前后干扰,实验采用被试间设计:对于含有 N 个目标物体的场景,原图和 N 张反事实图被分配到 N+1 组互不重叠的刺激集中,每组由约 10 名独立被试完成,确保对于同一个原始场景及其反事实变体,每名被试只会看到其中一个。研究者共收集 16665 次试次,剔除与其他被试描述明显不一致的低质量回答(约 0.3%)后,最终保留 16603 条场景描述,每张图像约有 10 条(9–11 条)独立描述,由此构成人类基线。

贡献三:模型在场景理解上和人类表现出显著差异并且依赖于不同特征

19 个模型,无一达到人类水平

研究者评估了 19 个主流的开源和闭源视觉语言大模型,涵盖 Qwen3-VL、InternVL3、Gemma 4、GPT-5.4、Claude 4.x、Gemini 3.x 等系列。结果显示,所有模型在场景理解上都和人类存在显著差异:无论是判断场景中语义显著性最高的物体,还是给同一场景中的物体排重要性顺序,模型都显著落后于人类之间的一致性水平。 

四种假设:大小、居中、低级显著性,还是"人"? 

为了进一步理解导致模型和人类在场景理解上的差异的原因,研究者基于人类视觉研究以及深度学习模型偏差的过往研究,提出了四种可能影响场景理解的假设:

1. 大小敏感性(Sensitivity to Size):物体刺激大小是人类视觉注意力的重要线索之一,而过往研究也表明,物体识别类深度学习模型会过度依赖物体大小。研究者用分割掩码的面积来衡量物体大小。

2. 中心敏感性 (Sensitivity to Center):人类视觉天然会关注画面中心的物体,同时诸多视觉模型是在以物体为中心的数据(如 ImageNet、MS-COCO)上训练的。研究者用物体中心到图像中心距离的负值来衡量居中程度。

3. 低级显著性(Sensitivity to Low-level saliency)敏感性:视觉注意力研究指出,颜色、亮度等低级视觉特征上的对比度会影响人类的视觉感知;也有研究指出,视觉模型可能更偏好低级视觉特征,而不是高级语义信息。研究者使用传统的低级显著性模型 Graph-Based Visual Saliency(GBVS)来量化图像中的低级显著性,并以物体所在区域内的低级显著性峰值作为该物体的低级显著性。

4. 人类敏感性 (Sensitivity to Person-Non-person):人类眼动研究指出,即使没有给定具体任务,人们也会优先观察场景中的人。目前还没有工作系统研究视觉语言大模型是否也有这种对人的敏感性。研究者通过 GPT-5.4 标注场景中的物体是否属于人类。 

基于上述四种假设,研究者分析了物体的语义显著性与大小、居中度、低级显著性、是否为人之间的相关性。结果发现,与人类观察者相比,视觉语言大模型显著更依赖物体的低级属性;相反,模型对"人"的敏感性显著低于人类观察者。 换句话说,模型更容易被又大、又居中、又醒目的物体"带偏",不论这些物体在语义上是否真的重要;而人类在描述场景时会被画面中有没有人强烈影响,模型却对此相对迟钝

大小偏好是造成人机差异的首要因素

既然模型在四种属性上的敏感性都与人类不同,那么到底是哪一种在主导模型"找错关键物体"?

研究者对每个模型计算两个"差距":一是该模型在某个属性上的敏感性与人类的差值(Δr),二是该模型 Top-1 准确率与人类的差值(ΔAcc)。然后在 19 个模型之间看这两个差距是否相关:如果某个属性上偏离人类越多的模型,找关键物体的表现也越差,那么这个属性就很可能是驱动差距的因素。结果显示,在四种属性中,只有大小敏感性的偏离与 Top-1 准确率的差距显著相关,其余三种属性均未达到显著水平。这也解释了文章开头的例子:白鸟在画面中占据的像素远多于鱼竿,模型对大小的过度依赖使鱼竿的重要性被掩盖,最终与人类的判断背道而驰。

白盒注意力图并不能告诉我们模型"真正在意"什么

长期以来,研究者常用注意力图或激活图来"看"模型关注了图中哪些区域。那么这些白盒方法能否得到与 CSS 一致的物体重要性?

研究者在开源模型 Qwen3-VL-4B-Instruct 上对比了三种常用的白盒方法:原始注意力图、Grad-CAM 和 AGCAM(注意力引导的类激活图)。由于模型是逐个 token 生成描述的,每个 token 都会对应一张热力图,研究者对所有 token 的热力图取最大值进行汇总,再取每个物体区域内的最大值作为该物体的重要性。

结果发现,这些白盒热力图要么杂乱无章,要么过于稀疏,经常聚焦在语义无关的区域。它们给出的物体重要性排序与 CSS 甚至呈负相关。这说明,面对结构复杂的现代 VLM,被动观察式的可解释性方法很难揭示真正驱动模型输出的因果因素。

结语

这项研究提出了反事实语义显著性(CSS)这一黑盒、与模型无关的评估框架,并结合大规模人类心理物理实验,系统揭示了视觉语言大模型与人类在场景理解上的普遍差距:人类会自然地关注场景中的人,而模型则默认过度依赖物体大小、居中程度和低级显著性等低级视觉特征,其中对物体大小的过度依赖是导致这一差距的最主要因素。在生成数据被大量用于模型训练的今天,"模型是否像人一样看世界"或许是一个同样值得关注的问题。

作者介绍:

本文第一作者温子奇,现为加州大学圣塔芭芭拉分校计算机博士生,研究方向为计算机视觉和认知科学的交叉领域:人类视觉建模,模型与人类的行为差异以及其原因。研究生毕业于卡耐基梅隆大学计算机学院( School of Computer Science),本科毕业于浙江大学计算机科学与技术学院。

加载中...