（来源：科技行者）
你有没有想过，一个AI模型要同时生成画面和声音，中间要经历多少博弈？
不是简单的"视频生成完了配个音"，而是真正意义上的联合创作：视频流和音频流互相看着对方生成，嘴型要对上发音，狗叫的瞬间要对上张嘴的动作，新闻主播说话的语速要匹配口型变化。这种模型最近确实出现了，比如本文研究的主角LTX-2。
但紧跟着一个麻烦就来了。
这类模型要同时满足好几个互相打架的要求：视频画面要好看，声音要干净好听，文字描述要和画面声音对得上，最关键的是,视频和音频在时间上要同步。想用强化学习的方法去调教这个模型,让它在这几个目标上都变好,结果发现,这事比想象中难得多。
这不是单一目标的优化，是五个裁判同时打分
先说说技术背景。
**强化学习*这里指的是通过奖励信号来调整模型行为的训练方法，模型生成一个结果后，由打分器告诉它做得好不好，模型据此调整自己的参数，让以后的生成更接近"好"的方向。
这篇论文里，研究团队用了五个不同的打分器,分别评判视频质量、音频质量、文字和音频是否匹配、以及音画是否同步。问题是，这五个裁判经常意见不合。提升画面质量的那次调整，可能让声音变差;追求音画同步的那次调整，又可能让画面本身质量下滑。论文里给出一个具体数字，研究者测量了这些打分器之间的冲突率，发现音画同步指标和其他指标的冲突率高达50%甚至90%。
这意味着什么?意味着你拉一拉这根线，另一根线就跟着乱动，而且随着训练推进，这种乱动的方式还会变。
更麻烦的是第二个问题：模型内部到底是哪部分在负责音画同步这件事,这个答案也不是固定的。
论文里做了一个很直接的实验,叫做KV消融。简单说就是,把模型里负责视频信息传给音频(或者反过来)的某一层直接掐断,看看同步效果掉多少。掐得越惨，说明这一层越重要。研究者在训练前和训练后分别做了这个实验,结果发现:训练前负责同步的关键层,和训练后负责同步的关键层,根本不是同一批。
这就好比你本来以为公司里负责客户沟通的是销售部，结果半年后你发现，真正起作用的其实是客服部的某几个人，销售部早就不管事了，可公司的组织架构图上写的还是销售部负责。如果你继续按照那张过时的架构图去分配奖惩，激励的全是不干活的人，真正干活的人反而没人管。现有的方法，比如OmniNFT，恰恰就是用训练开始前的那张"架构图"来固定分配奖励，完全没考虑模型训练过程中职责会漂移这件事。
研究团队把这两个难题概括成一句话：奖励驱动的更新到底该作用在模型的哪里，以及多个互相冲突的奖励该怎么协调,这两件事都是动态变化的,但现有方法全都用的是固定方案。
用注意力响应当"听诊器"：定位更新该发生在哪
先说第一个难题怎么解决的。
LTX-2这类模型里,视频流和音频流是通过一种叫双向交叉注意力的机制互相沟通的。
**交叉注意力*：一种让模型的两部分信息互相"看"对方的机制，视频在生成下一步时会参考音频此刻的状态,音频生成时也会回头看视频的状态,这种互相参考的通道，论文里叫做A2V(音频到视频)和V2A(视频到音频)。
研究团队想了一个很巧妙的办法，不用额外跑一次模型去测试哪层重要，而是直接拿训练过程中模型本来就会产生的一个数值来当参考，这个数值叫做"门控前响应"，也就是交叉注意力那个通道在真正起作用之前，它本身的激活强度。强度越大，说明这个token(可以理解成画面或声音里的一个小片段)在这个时刻受到另一个模态的影响越大。
这个思路换个方式理解可能更清楚。假设你想知道公司里哪些员工真正在推动项目进展，你可以每次都专门停下手头工作去做一次详细问卷调查，这样很准，但是太费时间，而且调查本身会打断正常工作。或者你可以直接看他们平时发邮件、开会发言的频率和强度，这些数据是工作过程中自然产生的，不需要额外成本，而且能大致反映出谁在真正参与核心决策。论文里用的正是这种思路，把已经存在的注意力响应信号直接拿来当参考，不需要额外的模型评估，这样才能跟得上训练节奏实时更新。
具体怎么用这个信号呢?论文设计了两层操作。
第一层叫做token级路由，就是看每个画面或声音片段受跨模态影响的强度，强度高的,就在损失函数里给它更高的权重，让模型更认真地去优化这部分。第二层叫做层级路由，看的是整个网络层对跨模态信息的响应强度，响应强的层，梯度保留得多一些，响应弱的层，就逐渐把梯度"切断"，让它不再承担那么多跨模态更新的压力。
论文还专门做了验证实验，证明这个"偷懒"的方法确实靠谱。他们对比了用注意力响应预测的层重要性排名，和真刀真枪直接把某层掐掉测试出来的排名，两者的相关系数达到0.98和0.97，几乎完全一致。更关键的是，如果把这个响应图锁死在训练刚开始的状态不再更新，相关系数会一路跌到0.56甚至0.38，说明模型内部的功能分布确实在训练中不断漂移，死守一张初始地图是会出问题的。
把用户的偏好当底线，把动态冲突当修正项
再说第二个难题，多个奖励怎么协调。
现有的两种思路各有缺陷。一种是GDPO，**GDPO*：一种给每个奖励信号单独标准化、再按预先设定的固定权重加起来的方法。它的问题是权重定死了，不会随着训练中出现的冲突调整。
另一种是MARBLE，**MARBLE*：一种根据不同奖励的梯度方向冲突程度，动态计算权重的方法,目标是让梯度冲突最小化。它的问题恰恰相反，太灵活了，灵活到会把某个暂时看起来"不合群"的奖励直接压到接近于零。
论文里展示了一个让人有点意外的数据，用纯粹基于梯度几何的方法去调权重，AV-DeSync(也就是音画同步这个指标)的权重轨迹几乎跌到了零。这意味着什么?意味着系统判断这个目标和别的目标冲突太大，索性就不管它了。可音画同步恰恰是这类模型最核心、最不该被放弃的能力之一。
这就像一个团队里，项目经理发现某个工程师的工作风格总是和别人合不来，开会的时候意见总是相左，于是干脆不给他派活了，图个清静。短期看团队确实顺畅了，可那个被晾在一边的工程师可能恰好是唯一懂某项关键技术的人，他的意见之所以总是和别人不一样，不是因为他不重要，而是因为他看到了别人没看到的问题。纯粹按照"合群程度"去分配权重，会把真正重要但容易被忽略的声音彻底消音。
所以研究团队的解法是把两种思路结合起来，而不是二选一。
具体做法是，先用预先设定好的权重作为"优先级底线"，这代表用户真正想要的东西，不会被轻易动摇。等训练进行到一定阶段(论文里叫做warm-up，也就是热身期)之后，再引入基于梯度冲突算出来的系数，但这个系数只是作为"残差修正"叠加上去，而不是取代原来的权重。而且这个冲突的计算是分别在每个模态的责任分支内部进行的，不是笼统地混在一起算，这样才能准确反映出这个奖励信号到底是谁的责任。
四层联动：从奖励到梯度的完整链路
把前面两部分合起来，整个优化流程变成了一条四步链路：先做奖励重新加权，再做模态分支分配，然后做token级的路由，最后做层级的梯度路由。
每一步解决一个具体问题。奖励加权决定每个目标该占多大分量，分支路由决定这个目标该分给视频分支还是音频分支，token路由决定在这个分支内部具体该在哪些片段上用力，层路由决定这股梯度最终该经过哪些层传播回去,又该在哪些层被截断。
论文还设计了一个KL正则项，**KL正则*：一种让模型不要和原始(未经强化学习调整)的版本偏离太远的约束机制，防止模型为了讨好奖励信号而忘记自己本来该有的生成能力。这个设计其实很常见，但放在这个场景里有特别的意义，因为同时优化五个奖励本身就容易让模型跑偏，加一道"别走太远"的保险丝是必要的。
实验结果：九项指标里拿下八项最优
研究团队在两个版本的LTX-2模型(19B参数和22B参数)上做了测试，用了将近两万条音视频提示词做训练数据，在JavisBench这个包含一万多条提示词的基准测试集上评估效果。
评估指标分四大类，视频音频质量、文字和内容的一致性、音画之间的跨模态一致性、以及音画同步程度，一共十个具体指标。
结果显示，这套方法在两个背景模型下，十个指标里都拿到了九个最优。相比之下，GDPO虽然能提升画面质量，但会让一部分音频和同步指标变差，这正好印证了前面说的，固定权重解决不了动态冲突的问题。MARBLE能缓解一部分冲突，但因为没有针对模态做路由，提升有限。OmniNFT引入了模态感知的优化思路，是三个基线里表现最好的一个，但因为路由策略是基于训练前的模型固定下来的，终究跟不上模型本身的演化。
论文还给出了一组训练过程中奖励曲线的追踪图，结果很说明问题，这套方法不是靠某一个指标"一枝独秀"拉高平均分，而是五个奖励信号同步稳健上升，这正好反驳了一种常见的担忧，就是多目标优化很容易变成"按下葫芦浮起瓢"，牺牲一个成就另一个。
论文里还放了几个生成样例做直观对比，一位新闻主播播报事故新闻、一个由蔬菜拼成的卡通角色说话、两个穿囚服的角色对话、一只德国牧羊犬在院子里吠叫。原始模型在这些场景里经常出现角色外观漂移的问题，比如人脸慢慢变形、衣服颜色突变。OmniNFT改善了这个问题但还留有痕迹，而这套新方法生成的画面在整个序列里角色的身份和场景结构都保持得更稳定，同时配合嘴型、吠叫动作的时机也卡得更准。
拆开来看，两个部件各管各的事
论文做了细致的消融实验，把路由模块和权重协调模块分别拆开测试。
单独加token级路由，能带来一定提升，因为它让模型更关注那些真正受跨模态信息影响的片段。再加上层级路由，同步指标和一致性指标进一步改善，说明这两层路由不是重复劳动，而是互补的,token级管的是"该在哪些内容上用力"，层级管的是"该让梯度走哪条路径"。
权重协调那边同样如此，单独引入分支感知的冲突估计，效果其实不算理想，因为冲突信号本身在训练初期是不稳定的，贸然依赖它反而会带偏方向。加上残差修正机制之后，情况好转，因为这时候冲突系数只是对预设权重做局部调整，不会整体推翻。再加上热身期的设计，让系统在训练初期先按预设权重稳着走，等冲突信号变得可靠了才开始介入，这时候效果才真正稳定下来。
完整方案把路由和权重协调两部分合在一起，效果优于任何单独拆开的版本。这说明这两个问题虽然看起来是两件事，但实际上是同一个底层矛盾的两面:模型在变，所以哪里该优化、怎么协调优化目标都得跟着变。
写在后面
读这篇论文时，最让我意外的不是方法本身的设计，而是那张KV消融对比图背后传递的信息。研究者没有想当然地认为"模型训练前后负责同步的层应该差不多"，而是真的花时间去验证了这件事，结果发现差异大到训练前后关键层的激活强度几乎是反的。
这提醒我一件容易被忽略的事，很多强化学习方法里那些"合理的假设"，比如固定路由、固定权重，其实从来没有被认真验证过是否在训练过程中依然成立。大家默认模型的内部结构是相对稳定的，调整的只是参数的具体数值，但这篇论文用实打实的消融实验告诉我们，功能分工本身也在漂移，而且漂移的幅度不小。
还有一个细节值得单独说一下，论文里提到用梯度几何单独计算权重会让AV-DeSync这个关键指标的权重趋近于零。这其实是个挺尖锐的警示，很多"看起来很智能"的自适应算法，如果完全交给数学上的局部最优去决定，最后反而会悄悄抛弃掉那些人类真正在意、但数学上显得"不合群"的目标。技术上的最优解，不一定是人类想要的解。
这篇论文没有解决的问题也很明显，没有一个统一的打分器能同时衡量画面质量、声音质量、语义一致性和时间同步，研究者还是得靠五个各管一摊的裁判拼凑出一个完整的评判体系。如果哪天真的出现了一个全能裁判，这套精心设计的路由和协调机制，是不是还有存在的必要?
Q&A
Q1：Adaptive Reward Routing是什么？
A：这是一种让AI模型在联合生成音频和视频时，能动态调整奖励更新位置和多个奖励权重的强化学习框架，解决了固定路由和固定权重跟不上模型训练变化的问题。
Q2：为什么联合生成音视频的AI模型需要动态调整奖励路由？
A：因为研究发现模型内部负责音画同步的关键网络层，在训练前和训练后完全不是同一批，固定的路由方式会随着训练推进变得过时，导致优化效果打折扣。
Q3：这套方法相比OmniNFT等基线有什么提升？
A：在JavisBench基准测试的十项指标中，该方法在视频音频质量、文字一致性、跨模态一致性和音画同步上拿到九项最优，且五个奖励信号同步稳健提升，没有顾此失彼。
