新浪科技 股票

当AI看视频遇上"指鹿为马"的终极考验,50个大模型集体现形

市场资讯 11.19 22:18

(来源:科技行者)

你有没有想过,当你让一个AI助手看一段篮球视频,问它"那个7号球员什么时候投进第一个球",和你直接甩给它一张球员照片问"这个人什么时候投进第一个球",它给出的答案,真的是同一个答案吗?

这个问题听起来有点无聊,但它背后藏着一个挺扎心的事实。香港理工大学联合OPPO研究院、南洋理工大学等机构的研究者们,最近搞了个大规模测试,专门考验市面上50个主流多模态大模型在视频理解上的真实水平。测试结果一出来,连最强的模型都有点"社死"。表现最好的Gemini-3.8-Flash,在最全面的那套评分体系里,也只拿到了42.8分,满分是100。这意味着什么呢,意味着你问它十个关于视频细节的问题,它能完全答对、而且用两种不同方式问它都给出一致正确答案的,还不到一半。

这篇论文的名字叫OmniCompass,翻译过来大概是"全视界指南针"。它不是又一个"喂给AI一堆视频问答题,看它能答对多少"的常规测试,而是试图回答一个更深层的问题:这些AI模型,到底是真的"看懂"了视频,还是只是在蒙对答案?

### 一个被所有人忽略的问题:你问的"是同一个东西"吗

先说说这个研究为什么会被做出来。

在此之前,评测视频理解AI的benchmark其实已经不少了。有的测时间定位,比如"球员什么时候投篮";有的测空间定位,比如"篮球在画面哪个位置";有的测问答,比如"这个球员一共得了几分"。但几乎所有benchmark都有一个共同的盲点,它们只用一种方式去描述要问的目标,要么全是文字描述,要么像IV-Bench那样配了图片,但从没有人认真地测试过:同一个目标,用文字说和用图片指,AI给出的答案是不是一致的。

这事儿听起来是个细节,但仔细想想挺要命的。

生活中我们经常切换着用两种方式确认"你说的是谁"。比如你在商场里找朋友,你可以说"穿红色外套的那个人",也可以直接发一张照片给对方说"找这个人"。如果一个真正懂事的助手,无论你用哪种方式描述,他都应该准确理解你说的是同一个人,并且给出一致的回答。但如果这个助手用文字描述时能找对人,换成照片反而找错了,那你还敢信任他吗?

这就是OmniCompass团队发现的核心裂缝。他们给每一个测试案例都设计了两种"问法":一种叫Text,纯用文字描述目标,比如"穿33号球衣的美国队球员";另一种叫Text+Image,文字描述变得模糊一些,靠配图来锁定目标,比如"这个球员"加一张照片。

目标规范:指AI理解"你问的是谁/什么"所依赖的输入方式,分为纯文字和文字加图片两种。两种方式问的是同一个视频、同一个事件、同一个标准答案,唯一变化的是你怎么"指"出这个目标。

研究团队发现,36个开源视觉语言模型里,只有11个在换成图片提问后表现变好了,剩下的要么没变化要么直接变差。更扎心的是,就算一个模型在两种问法下单独看准确率都差不多,把两次回答放在一起比对,答案经常对不上。比如Kimi-K3这个开源模型,文字问法准确率73.0%,图片问法准确率72.9%,看起来几乎一样对吧?但研究者把两次回答放一起核对后发现,真正两次都答对的只有67.6%,还有10.5%的题目是只在一种问法下蒙对了。这说明什么,说明表面上的"准确率相近"是个假象,模型内部压根没有稳定地认出"这是同一个目标"。

### 视频理解到底该考什么:时间、空间和语义,一个都不能少

OmniCompass另一个核心设计,是把视频理解拆成了三件事:什么时候(When)、在哪里(Where)、发生了什么(What)。

对应到技术术语,就是时间定位、空间定位和问答三项任务。

时间定位(TG, Temporal Grounding):让AI说出某个事件在视频里发生的起止时间,比如"球员投进第一球是在第48秒到第50秒"。

空间定位(SG, Spatial Grounding):让AI在画面里圈出目标所在的位置,用一个矩形框标出来。

问答(QA, Question Answering):针对视频内容提出选择题,考察AI对事件的理解程度。

这个三位一体的设计,其实对应着真实世界里一个挺常见的使用场景。想象你在看一场篮球赛录像回放,想复盘某个球员的关键得分瞬间。你首先想知道"这个瞬间是什么时候发生的"(时间),然后想在画面里"确认这个球员当时站在哪里"(空间),最后还想知道"他到底是怎么投进的、算几分"(语义理解)。这三件事缺一不可,而且是递进关系,如果时间都找不准,空间定位和问答基本就是空中楼阁。

如果只测问答能力会怎样?论文里的数据给出了答案:36个模型里有29个问答准确率超过50%,表现都不算差,但时间定位最好的模型得分只有27.1%,空间定位最好的也只有34.9%。这意味着,这些AI可能"听说过"视频里发生了什么,但真要它精确指出"什么时候""在哪儿",大部分都抓瞎。这就好比一个学生,你问他"鸦片战争是哪场战争",他能答上来,但你要是问他"具体哪一年哪一天爆发的、发生在地图上的哪个位置",他就支支吾吾说不清楚了。只考问答,这种"知道个大概但说不清细节"的毛病根本暴露不出来。

### 视觉理解VS音画结合:两条赛道,两种难度

OmniCompass其实分成了两个子赛道。一个叫OmniCompass-VL,只靠画面信息就能回答的问题,不需要声音;另一个叫OmniCompass-AV,必须同时听懂声音、看懂画面才能回答。

这个区分背后的逻辑也挺朴素。想想你平时看新闻联播,有些问题光看画面就能答,比如"主播穿的什么颜色衣服";但有些问题,比如"主播刚才说了哪个国家的领导人要访问",你不听声音是绝对答不出来的,哪怕画面上出现了十个相关镜头。这两类问题对AI的要求完全不同,前者只考验"眼力",后者还得考验"耳力"加上"把耳朵和眼睛听到看到的东西对上号"的能力。

VL赛道(OmniCompass-VL):纯视觉语言测试,820个视频,2460道题目,不涉及声音内容。

AV赛道(OmniCompass-AV):音视频融合测试,从VL赛道里挑出240个叙事性强、音频信息丰富的视频,配上720道必须结合声音才能解答的题目。

结果非常戏剧性。在VL赛道,表现最好的开源模型和最好的闭源模型之间差距是3.2个百分点,还算能接受。但到了AV赛道,这个差距直接飙到32.8个百分点。开源阵营里表现最好的MiMo-V2.5只拿到24.6分,而闭源的Gemini-3.8-Flash拿到57.4分,几乎是两倍还多。

更具体一点看时间定位这项,十个开源的音视频模型里,有十个的时间定位得分都不超过3.5%,基本等于瞎猜。反观Gemini-3.8-Flash,在同样任务上能拿到40.6分。这说明一件事:把"看懂画面"和"听懂声音"结合起来、并且精确地在时间轴上对齐,这件事目前只有极少数顶尖闭源模型能做到及格水平,绝大多数开源模型连门槛都没摸到。

### 怎么量化"说话算不算数":一致性分数的设计

光说"模型答案不一致"还不够具体,研究团队设计了一套叫CS的打分机制,CS全称Cross-Specification Consistency Score,直译是"跨规范一致性分数"。

一致性分数(CS):同时衡量两件事,一是模型在两种问法下的回答是不是都准确,二是两次回答之间是不是互相吻合。单纯回答一致但都是错的,不算数;单纯某一次答对了,另一次错了,也不算数。只有"两次都对而且相互印证"才给满分。

拿时间定位举例,公式取的是三个数值里最小的那个:文字问法预测区间和标准答案的重合度、图片问法预测区间和标准答案的重合度、以及两次预测结果彼此之间的重合度。这个"取最小值"的设计很有讲究,相当于故意设了一道严苛的关卡,只要有一个环节掉链子,分数就上不去。

这就像考察一个翻译的水平,不能只看他把中文翻成英文准不准,还得看他把同一句话反过来再翻一次,前后用词风格是不是统一。如果一个翻译,第一次把"打工人"翻成"working class hero",第二次又翻成完全不搭边的说法,哪怕两次单独看都"翻得过去",你也不敢说这个翻译真的理解了这个词的分量。

这套评分体系最大的价值在于,它逼着模型不能靠"运气好蒙对一次"蒙混过关,必须展现出稳定、可复现的理解能力。这恰恰是真实应用场景最在意的,没有人希望一个智能助手今天回答对了,明天换个问法就翻车。

### 820段视频,2460道题,1800个小时堆出来的"考场"

说到数据规模,这套benchmark建得相当扎实。整个数据集包含820段视频,横跨七大领域,体育、交通、安防、生活、电影、综艺、新闻,下面又细分出52个子类别,总时长80.6小时,从最短30秒到最长88.4分钟不等。

这里面580段视频来自九个公开数据集,经过人工精心筛选,另外240段是团队自己收集的电影、电视剧、综艺和新闻片段。这240段视频比较特殊,它们既构成VL赛道的一部分,也单独拿出来做了AV赛道的音视频标注,相当于一鱼两吃。

值得一提的是整个标注流程的严谨程度。团队先用一个叫Qwen3-VL-8B-Instruct的模型给8489段候选视频做初步"体检",提取里面的实体、动作、属性、场景四类信息,筛掉太短或者信息不够丰富的视频,剩下6946段候选。再按照参考必要性、定位适用性、时空利用度和证据多样性四个维度打分排序,最终人工精选出580段高质量视频。

这整套工程,从标注员培训、试标定稿、正式标注到交叉验证、专家终审,前前后后花了大约1800个人工小时,折合223个工作日。四名专业标注员经过两天专门培训,先在60段视频上做试标,暴露问题、校准标准,然后才正式大规模标注。标注完成后还要经过同行交叉核查,发现问题打回去修改,最后由项目负责人逐一终审。

这个投入量级说明一件事:要想真正测出AI的"水分",光靠自动化批量生产题目是不够的,必须有大量真人介入,去确保每一道题目的目标指代清晰、时间边界精确、答案有理有据。这就跟造一把精密的尺子一样,如果尺子本身刻度不准,拿它去量任何东西都是白费功夫。

### 实验揭示的三个扎心真相

论文里几组对比数据特别值得拎出来说。

第一个真相是,给时间戳能显著提升模型表现。研究者给输入的每一帧画面都标注了具体的秒数,结果发现这个小小的改动带来了巨大收益。Gemini-3.8-Flash在加上时间戳后,时间定位的一致性分数从8.8分飙升到27.1分,涨了18.3个百分点。Qwen3.5-397B-A17B这个开源模型涨得更猛,从4.9分涨到23.1分,涨了18.2分。这就好比你本来在一本没有页码的书里找某一段话,现在突然给你标上了页码,找起来效率天差地别。如果不标时间戳会怎样?模型得靠数帧数、靠大致估算来猜时间点,误差自然大得离谱。

第二个真相是,音频对于音视频任务的提升是不均衡的。研究者做了个对照实验,同一批题目分别只给文字、给纯视觉、给视觉加音频三种输入方式测试。结果显示,加上音频后,问答准确率平均提升了22.9个百分点,这个提升相当稳定,四个测试模型无一例外都涨了。但时间定位这项,Gemini-3.8-Flash加音频后暴涨29.4分,Qwen3.8-Omni-Flash涨了11.1分,可MiMo-V2.5反而掉了1.5分。空间定位的变化更是微乎其微,正负不超过2分。这说明音频信息对"回答是什么"帮助很大,但对"精确定位在哪一秒、在画面哪个位置"的帮助因模型而异,甚至可能帮倒忙。

第三个真相有点让人意外,视觉参考不是万能灵药。按理说给一张照片应该能帮AI更精确地锁定目标吧?但实测发现,36个模型里只有11个在换成图文结合的问法后整体表现变好了,开源阵营里不到100亿参数规模的模型中,只有一个(Qwen3.8-27B)表现提升了,而且这个提升还是以牺牲问答准确率为代价的,它的空间定位分数涨了,问答准确率却掉了2.2个百分点。研究者推测,这可能是因为图片虽然能帮AI更快锁定"是谁",但同时也丢掉了文字描述里原本包含的一些细节信息,相当于捡了芝麻丢了西瓜。

### 从一张图看懂AI的能力断层

论文配图里有一张雷达图特别直观,把八种问答类型的表现摆在一起比较。在纯视觉赛道,视觉计数这一项,几乎所有被测试的八个代表性模型得分都垫底,范围在26.4%到48.1%之间。相比之下,因果推理这类题目平均分能到69.8%。

这说明一个挺有意思的现象:AI理解"发生了什么、为什么发生"这类带逻辑性的问题反而比"数一数这个动作发生了几次"这种纯粹的计数任务做得更好。这和人类直觉有点反着来,我们一般觉得数数字是简单任务,逻辑推理才难。但对AI来说,逐帧盯着画面精确计数需要持续、细粒度的注意力追踪,这恰恰是当前视觉模型的软肋,而因果推理更多依赖语言模型本身已经很擅长的"根据上下文脑补合理解释"的能力。

在音视频赛道同样有个耐人寻味的发现,事件理解这一项是开源模型和闭源模型差距最大的类别,差了38.9个百分点。事件理解要求模型把听到的声音线索和画面里的人物、动作、场景对应起来,这恰恰是"音画融合"能力的试金石。闭源模型显然在这方面砸了更多训练资源,而开源模型在这道坎上普遍摔得很惨。

### 这篇论文接下来会往哪走

OmniCompass发布之后,相当于给整个行业立了一面镜子。它不是说哪个模型更强更弱这么简单,而是揭示出一个更根本的问题:当前的多模态大模型,离"真正稳定、可信赖地理解视频"还有相当长的路要走。

研究团队在论文里提到,未来的模型需要更强的跨模态对齐能力,以及更可靠的音频感知定位能力。这不是一句空话,从数据上看得很清楚,时间定位和空间定位这两项"硬核"能力,目前连最强的模型都远没有达到实用水准,27.1%和34.9%的最高分意味着,哪怕是表现最好的模型,十次里也有六七次给出的时空定位是不准的或者不完整的。

这个发现也呼应了这几年视频理解领域的一个大趋势。像TimeLens这类专门针对时间定位做优化的工作,试图通过交互式时间戳和强化学习来提升精度;而Qwen3-VL、Qwen3-Omni这些模型,也在努力把长视频理解和音视频融合做得更扎实。OmniCompass相当于给这些努力提供了一把更严格的尺子,告诉大家现在到底走到哪一步了,还差多远。

写在后面

读完这篇论文,最让我意外的不是哪个模型分数高低,而是那个"同一个目标,两种问法,答案却经常对不上"的发现。

我们平时跟AI对话,很少会刻意用两种方式去验证它是不是真的理解了我说的东西。你问它一次,它答对了,你就默认它懂了。但OmniCompass这个研究提醒我一件事:单次问答的正确率,可能只是运气好蒙中了,而不是真正稳定的理解。这跟考试里"蒙对选择题"和"真正掌握知识点"的区别是一样的,表面上分数相同,底子完全不一样。

还有一个细节我觉得挺值得琢磨。论文里提到,给图片参考有时候反而会让模型表现变差,因为图片省略了文字里原本包含的细节信息。这其实戳破了一个常见的技术迷思,很多人下意识觉得"多模态输入=更丰富的信息=更好的理解",但这篇论文的数据告诉我们,信息渠道的切换本身就是有代价的,多了一种信息不代表模型能把两种信息都用好,反而可能顾此失彼。这让我联想到人类沟通里也有类似的现象,有时候描述一件事情,用词汇反而比给一张照片更精确,因为语言可以同时传达外形、动作和上下文,而一张静态图片只能定格一个瞬间。

这篇论文留下的最大悬念是,到底要怎样才能让AI真正做到"无论你怎么问,它给出的答案都是一致可信的"。这不只是技术问题,更像是一道关于"理解"本质的哲学题目,如果一个系统换种问法答案就变了,我们真的能说它"理解"了吗?

Q&A

Q1:OmniCompass是什么?

A:OmniCompass是香港理工大学等机构联合推出的一个视频理解评测基准,专门考验多模态大模型在视频时间定位、空间定位和问答三项任务上的真实水平,分为纯视觉的VL赛道和需要声音配合的AV赛道两部分。

Q2:OmniCompass测试结果显示哪个模型表现最好?

A:在纯视觉赛道,闭源模型Gemini-3.8-Flash表现最佳,综合一致性分数42.8分,开源模型里Kimi-K3最强,拿到39.6分;在音视频融合赛道,Gemini-3.8-Flash以57.4分遥遥领先,开源最强的MiMo-V2.5只有24.6分,差距明显拉大。

Q3:为什么同一个问题用文字问和用图片问,AI答案会不一样?

A:这是因为图片虽然能更直接地指明目标,但往往省略了文字描述里包含的细节信息,导致模型理解出现偏差。研究发现36个模型里只有11个在换成图文结合问法后表现变好,很多模型两种问法下答案并不一致,说明它们没有真正稳定地理解"同一个目标"。

加载中...