新浪科技 股票

当四个专家模型同时被塞进同一个大脑,会发生什么

市场资讯 11.19 22:16

(来源:科技行者)

想象一下你在培养四个专才:一个数学家、一个语言学家、一个摄影师、一个侦探。现在你想把他们的本领全部装进同一个人脑子里,让这个人既能解方程,又能读懂古文,还能一眼识别照片里的猫是第几只,顺便还能破案。

你觉得这事容易吗?

东北大学和阿里巴巴的研究团队用一篇论文告诉我们:不容易,而且背后的原因比想象中更复杂。这篇论文叫《Skill-Decoupled On-Policy Expert Distillation for Unified Vision-Language Models》,简称

**SCOPED**

视觉语言模型*:能同时理解图片和文字的AI模型,既能看图又能对话,是现在多模态AI的主力军。

这些模型想要变得更聪明,通常会用一种叫强化学习的训练方式,针对不同任务给它打分、让它自己摸索怎么做得更好。但问题来了:如果你让一个模型同时学会数数、读图表、做符号推理、看多张图片做空间判断,它真的能把这几件事都学好吗?

四个老师打架,学生学废了

先说一个你可能没想到的事实。

直觉上你会觉得,训练数据越丰富、任务越多样,模型应该学得越全面才对。但这篇论文的实验狠狠打了这个直觉的脸:当研究者把四种能力的训练数据混在一起,用同一个策略去学习时,模型在符号推理和多图推理上的表现,反而不如那些只专门学一种能力的"专才模型"。

这是为什么?

论文给出的解释叫

**梯度冲突**

梯度*:训练模型时用来调整参数的信号,可以理解成"往哪个方向改进"的指南针。

当你同时优化四种能力的目标函数时,不同能力给出的"改进方向"经常是互相矛盾的。论文做了一个很直观的实验:在混合训练的每个检查点,分别计算四种能力各自想要的参数更新方向,然后两两比较它们的余弦相似度。结果发现,很多能力对之间频繁出现负相关,意味着提升数学推理的那次参数更新,恰好会让多图理解变差一点,反过来也一样。

这就好比你同时在健身房练举重和练瑜伽,举重需要肌肉绷紧发力,瑜伽需要肌肉放松拉伸。如果教练非要你在同一组训练动作里兼顾两者,你很可能两样都练不精,因为身体根本不知道这一下该用力还是该放松。如果不拆开训练,你得到的不是全能选手,而是一个两头都够不着满分的平庸选手。这正是论文观察到的现象,混合训练的模型平均奖励曲线,始终低于分开独立训练的模型。

先分开练,再想办法合体

既然混在一起练会打架,那答案似乎很简单:分开练不就行了?

确实,SCOPED的第一步就是这么干的。研究者把训练数据按照四种能力拆成四份:精细视觉感知(比如数数、定位物体)、OCR和图表理解、符号化视觉推理(比如数学几何题)、多图像推理(比如判断空间方位)。然后分别用强化学习训练出四个专家模型,每个专家只专注自己的一亩三分地,互不干扰。

这一步听起来理所当然,但真正的难题在后面:分开练出来的四个专家,怎么合并回一个统一的模型?

最直接的想法是

**参数合并**

参数合并*:把多个模型的权重直接加权平均,融合成一个新模型的技术。

但论文的消融实验显示,这招效果并不理想,直接把四个专家的参数平均起来,得到的统一模型在各项指标上都明显落后于其他整合方式。这说明专家们学到的东西并不是简单地"躺"在参数空间里,你没法靠把参数数值做平均就把知识拼在一起,这就像把四份不同的菜谱文字直接叠印在一张纸上,你得到的不是一道融合菜,而是一团读不懂的乱码。

于是研究者转向了另一条路,叫

**在线策略蒸馏**

在线策略蒸馏(On-Policy Distillation,OPD)*:让学生模型自己生成一段回答,然后用老师模型在这段回答的每一步上给出"应该怎么说"的概率分布,再让学生去模仿这个分布,而不是直接抄老师的现成答案。

这个设计有一个关键的巧思:学生不是去抄老师的作业,而是老师在学生已经走出来的每一步路上,告诉他"这一步你本可以说得更好"。这样做的好处是避免了学生模型生成的内容和老师训练时见过的内容分布不一致的问题。

如果不这样做,而是直接用老师预先生成好的文本让学生硬背,会发生什么?学生很容易在自己实际说话的路径上遇到没见过的场景,就像背课文的学生遇到即兴问答题,瞬间露馅。

当这个思路被扩展到四个专家同时指导一个学生时,就变成了

**多教师在线策略蒸馏**

多教师在线策略蒸馏(MOPD)*:让多个各有专长的老师,根据学生当前走的路径分别给出指导,再把这些指导汇总,教会学生同时掌握多种能力。

论文里SCOPED在消融实验中去掉技能增强这一环节后,仍然比直接混合训练的效果好,这说明哪怕只是老老实实做多教师蒸馏,也比让一个策略同时吸收所有梯度信号要靠谱得多。

专家也会撒谎,所以要先让它们反思

事情本可以就此结束了,四个专家各自训练,然后蒸馏给学生,皆大欢喜。但研究者意识到一个更隐蔽的问题。

直接把专家的预测结果拿来教学生,会不会把一些不该学的东西也一起教过去?

这里涉及一个强化学习里常见的现象,叫

**奖励黑客**

奖励黑客*:模型为了拿到更高的奖励分数,学会了一些投机取巧但并不真正解决问题的策略,比如钻了评分规则的空子。

一个专家模型在强化学习过程中,可能会学到一些确实能让奖励分数变高,但本质上是在"钻空子"而不是真正理解任务的行为模式。如果把这些带着偏差的预测分布原封不动地教给学生,学生学到的就不只是干净的专业知识,还混进了一堆投机取巧的坏习惯。

这就像你请了一位很会考试的家教,但他教你的解题技巧里混杂了一些"猜题蒙对"的旁门左道。你光看他最后给出的答案,根本分不清哪部分是真本事,哪部分是投机取巧。

SCOPED给出的解法,是让专家先对自己的历史表现做一次

**反思**

反思(reward-guided reflection)*:让模型回顾自己过去做对和做错的案例,自己总结出哪些是真正管用的套路,哪些是容易踩的坑。

具体做法是,每个专家在训练完成后,针对自己生成过的大量回答轨迹,按照任务奖励的高低分成"成功组"和"失败组"。然后专家被要求去对比这两组案例,提炼出两类信息:一类是成功案例里反复出现的、真正有效的解题套路;另一类是失败案例里反复踩中的坑,以及如何避免。最后把这些反思整理成一份简明扼要的

**能力技能卡**

能力技能卡(capability-specific skill)*:用自然语言写成的一份"操作指南",概括了某个专家在特定能力上积累的有效经验和常见错误的规避方法。

举个论文里提到的例子,针对图表理解任务,提炼出的技能卡里会写着"读取图表数值时要对齐最近的刻度线,不要在刻度之间估算",针对多图推理任务则会写"判断方向性描述时,要先确认参照系是谁的视角,而不是单纯依赖图片本身的倾斜角度"。

这些技能卡接下来被用在一个很巧妙的地方:在蒸馏阶段,专家在给学生做示范的时候,会把这份技能卡作为额外的提示输入给自己,但学生看不到这张卡,学生只看到原始的图片和问题。这种设计叫

**信息不对称**

信息不对称(asymmetric conditioning)*:老师拥有学生看不到的"小抄",这份小抄能让老师给出更清晰、更稳定、更少噪音的示范,学生虽然看不到小抄本身,却能从老师清晰的示范中学到小抄里隐含的那套方法。

这个设计背后的逻辑值得多说一句。为什么不干脆把技能卡也给学生看?因为论文的目标不是让学生在考试时翻小抄,而是让学生把小抄里的本事内化成自己的直觉,考试的时候不能带小抄进考场,所以训练的时候也不该让学生依赖它。技能卡只是用来让老师这个"考官"出题更精准、示范更稳定,学生要做的是从老师更干净的示范里,悄悄把这套方法学到骨子里。

如果不做这个区分,让学生在训练阶段也看到技能卡,那学生很可能会偷懒,只是记住了"看到这类问题就套用这条规则",而不是真正理解规则背后的道理,一旦考试时没有技能卡提示,表现可能会打折扣。

结果证明这套组合拳确实管用

说了这么多设计思路,最终效果到底如何?

研究者在八个多模态测试集上验证了SCOPED,覆盖精细感知、OCR图表理解、符号推理、多图推理四大类。用Qwen3-VL-8B作为基础模型训练出的SCOPED-8B,在全部八个测试集上都超过了原始骨干模型,平均分提升了5.83分,并且在综合得分上超过了参数量大得多的Qwen3-VL-32B,也超过了包括Claude、GPT在内的多款闭源模型。这意味着,合理的训练方式带来的收益,可能比单纯堆参数规模更划算。

下面这张表格摘录了几个关键对比,加粗部分是各列表现最好的结果:

| 模型 | 感知(CountBench) | OCR&图表(ChartQA) | 符号推理(WeMath) | 多图(MUIR) | 平均分 |

| Qwen3-VL-8B(原始骨干) | 83.91 | 81.32 | 71.67 | 72.92 | 67.30 |

| Mix-RL(混合强化学习) | 89.80 | 85.00 | 82.90 | 67.80 | 69.31 |

| SCOPED(去掉技能增强) | 89.41 | 88.16 | 81.26 | 76.27 | 72.39 |

| **SCOPED(完整版)** | **90.43** | **88.28** | **82.47** | **76.58** | **73.13** |

有意思的是,混合强化学习(Mix-RL)虽然比原始模型有所提升,但在多图推理(MUIR)这一项上,反而比完整的SCOPED低了将近9分,这进一步印证了前面说的梯度冲突问题:混合训练在某些能力上的进步,是以牺牲另一些能力为代价换来的。

技能卡到底改变了什么

光看最终分数还不够有说服力,研究者还做了几层更深入的分析,想弄清楚技能增强这一步具体改变了什么。

第一层分析是看学生模型保留了多少专家的"功能性行为"。做法是固定一段专家生成的推理轨迹,分别用学生模型和原始基础模型跑一遍,记录每个词在概率上的变化幅度,这个变化向量就代表了这个模型相对基础模型"偏移"了多少、往哪个方向偏移。如果学生的偏移向量和专家的偏移向量方向一致、幅度相近,就说明学生真正学到了专家的本事。

结果显示,加了技能增强之后的SCOPED,这个幅度保留率达到0.958,方向对齐度达到0.918,而直接混合训练的模型这两个数字分别只有0.618和0.598。差距相当悬殊。

第二层分析更有意思,研究者想知道技能卡会不会让专家本身的表现变得更稳定。他们用一个嵌入模型把专家生成的推理文字转成向量,计算同一能力下不同题目生成的轨迹之间的相似度。结果显示,有技能卡指导的专家,轨迹相似度明显更集中在高值区间,这说明技能卡让专家的解题思路变得更一致,不再是看心情发挥。

第三层分析最直观,研究者去看模型的注意力到底落在图片的哪些区域。他们统计了每个解码层里,注意力权重最高的视觉token有多大概率落在和任务真正相关的图像区域内。结果有技能卡的专家,在模型靠后的几层解码层里,注意力命中任务相关区域的比例明显更高,最后一层的提升幅度最大。

这说明技能卡起到的作用,不只是让专家"说得更对",而是实实在在地改变了专家"看哪里"的习惯。这就好比一个新手摄影师,光靠反复练习可能还是会把焦点对错地方,但如果有一份写明"拍人像先锁定眼睛、拍风景先找地平线"的要点清单提醒他,他的镜头会不自觉地往该看的地方多停留一会儿。

论文里还有一个案例,直观展示了这种差异。题目是从一张柱状图里找出哪个年龄段获得副学士学位的比例最高,没有技能增强的模型被一个干扰柱状图吸引了注意力,错误地选了"25到34岁",而完整版SCOPED则把更多注意力分配给了正确答案对应的柱子,最终给出了"35到44岁"的正确答案。从注意力热力图上能清楚看到,错误选项附近的红色区域明显减弱了。

写在后面

读完这篇论文,最让我意外的不是SCOPED的最终分数有多高,而是那张梯度冲突的分析图。研究者没有停留在"混合训练效果不好"这种笼统的结论上,而是真的去计算了不同能力的参数更新方向之间的余弦相似度,用数字把"模型内部在打架"这件事坐实了。这种把直觉变成可测量证据的做法,本身就是一种值得学习的研究态度。

还有一个细节我觉得值得单独拎出来,技能卡的提炼过程并不只用成功案例,论文做了对照实验,发现单独用成功轨迹提炼技能卡能带来提升,单独用失败轨迹也能带来提升,但两者结合起来效果最好,几乎是前两者的叠加。这说明"知道该怎么做"和"知道不该怎么做"其实是两种互补的知识,缺一不可,光让模型看优秀范例是不够的,还得让它看看自己是怎么栽跟头的。

这篇论文留下的一个开放问题是,技能卡目前是针对四个预先划定好的能力类别分别提炼的,如果未来任务种类变得更多、更细碎,这套"先分能力训练,再提炼技能,再蒸馏整合"的流程,会不会在能力数量膨胀时变得笨重?一个真正灵活的系统,或许需要能动态发现新的能力边界,而不是依赖人工预先划好四个格子。

Q&A

Q1:SCOPED是什么?

A:SCOPED是东北大学和阿里巴巴团队提出的一种训练方法,用于把多个各自专精不同能力的视觉语言专家模型,整合成一个统一的模型,核心做法是先独立训练专家,再提炼出可复用的技能经验指导蒸馏过程。

Q2:为什么混合训练多种能力的视觉语言模型效果反而不好?

A:因为不同能力对应的训练目标会产生梯度冲突,论文实验显示混合训练模型的参数更新方向,经常与各能力专家期望的方向相矛盾,导致某些能力的提升是以牺牲另一些能力为代价的。

Q3:SCOPED中的技能卡具体起什么作用?

A:技能卡是专家模型反思自己成功和失败案例后提炼出的经验指南,在蒸馏时只给老师专家看,不给学生看,能让专家示范更稳定、注意力更聚焦任务相关区域,从而让学生学到更干净的专业知识。

加载中...