（来源：科技行者）
有一件事说出来你可能会觉得反常识：训练一个更强的模型，居然要靠一个更弱的模型来帮忙加速。
这不是玩笑。假设你手里有一个4B参数的小模型，已经在某个任务上练得不错了。现在你想训练一个8B参数的大模型，理论上它的天花板应该比小模型高得多。但问题来了，从零开始训练这个大模型，要花多少时间和算力？如果小模型已经"知道"一些有用的东西，能不能让大模型站在小模型的肩膀上,更快地学会,还能超过它?
这个问题在AI行业里正变得越来越现实。模型一代一代往前迭代,每一代都要重新做一遍高成本的后训练;各个团队又喜欢先在小规模上打磨某个专项能力,比如数学、逻辑推理、写代码,然后想把这些专项能力揉合到一个大模型里。两种场景都指向同一件事:怎么把小模型身上的训练成果,转移到一个更强的模型身上,而且不能让大模型的能力被小模型的天花板卡住。
这篇论文要解决的,就是这个问题。研究者们把这个方向叫做"弱到强泛化",而他们提出的方法,叫做**On-Policy Reverse Distillation**,简称OPRD。
先说清楚,这事到底难在哪
**知识蒸馏**：一种让"学生模型"模仿"老师模型"输出的训练方法，最早由Hinton等人在2015年提出，目的是把大模型的能力压缩进小模型。
传统的知识蒸馏,思路是反过来的:用一个强模型教一个弱模型,弱模型努力去模仿强模型的输出分布,学得越像,效果越好。这套逻辑很自然,因为你希望学生最终达到老师的水平。
但现在的问题反过来了。你的"老师"是弱的,你的"学生"是强的。如果还用老传统的思路,让学生去模仿老师的每一个输出,那学生能达到的上限,就是老师的水平,顶多再高一点点。这就好比一个已经能考985的学生,非要跟着一个只会中考真题的辅导老师亦步亦趋地刷题,你说他最后能超过老师多少?
**在线蒸馏（On-Policy Distillation, OPD）**：一种改进的蒸馏方式，不是让学生模仿老师生成的固定文本，而是让学生自己生成回答，再让老师在学生走过的每一步上打分纠偏，这样能避免训练时看到的场景和实际使用时不一致的问题。
在线蒸馏已经算是个进步了，它解决了"训练看到的和考试碰到的不一样"这个老问题。但它没解决核心矛盾：只要目标还是让学生的每一步输出都尽量贴近老师的分布，学生就永远被老师的能力半径框住。论文里做了个实验，让在线蒸馏训练的学生模型和一个纯粹靠强化学习自己摸索的学生模型对比，结果很扎心：在线蒸馏一开始进步飞快，很快追上甚至短暂超过弱老师，但接下来就停滞了，趴在老师水平线附近不再往前走。而纯强化学习虽然起步慢，但会稳步超过老师，只是要花更长时间。
这就是研究者们面对的真实困境：老师的指导确实有用，能让学生少走弯路，加速前期学习；但如果把老师的整个策略当成优化目标，学生迟早会撞到天花板。
那要怎么办？既要用上老师的经验，又不能让老师的经验变成学生的紧箍咒。
**核心思路：只借"变化的方向"，不借"最终答案"**
论文里有一个特别关键的洞察，值得慢慢讲。
一个弱模型，从最初的"参考策略"（也就是它做后训练之前的状态）经过强化学习训练，最终变成了一个"老师策略"。这中间发生了什么变化？
**参考策略（Reference Policy）**：模型在做强化学习训练之前的初始状态，通常就是原始的预训练或指令微调模型，没有经过针对特定任务的强化学习优化。
这个从参考策略到老师策略的转变过程，包含了三样东西混在一起：一是训练过程中真正学到的、对完成任务有用的策略调整；二是从参考策略那里继承下来的一些习惯性偏好，跟任务本身没啥关系；三是因为弱模型本身参数少、能力有限，被迫做出的一些将就性选择。
传统的蒸馏方法，不管是老到新还是新到老的方向，都是让学生去匹配老师最终这个"三合一"的策略。可这三样东西里，只有第一样，也就是训练过程中真正学到的调整，是值得强模型学习的。第二样是老师自己的口味，第三样是老师能力不够导致的妥协，这两样东西如果也被强模型学去了，那不是帮忙，是拖累。
OPRD的做法是：不去匹配老师最终的策略，而是去提取"老师从参考策略到最终策略，这一路发生了什么变化"，把这个变化方向单独抠出来，然后只用这个方向去给学生自己的策略梯度做一次"加速"，而不是替换。
具体怎么做的？拿学生自己生成的回答，在每一个生成的位置上，把老师训练前后的对数概率做个差值，这个差值经过居中处理后，就代表了老师这一路学到的"相对偏好变化"。这个方向，论文里叫它
**教师策略偏移方向**：老师模型在训练前后，对下一个词的相对偏好发生了怎样的改变，用这个变化的方向来代表老师"学到了什么"，而不是老师"最终变成了什么样"。
拿到这个方向之后，OPRD做的事情很巧妙：把学生自己基于验证器反馈算出来的策略梯度，分解成两部分，一部分是沿着这个教师偏移方向的分量，另一部分是跟这个方向垂直、不相关的分量。然后只把第一部分放大，第二部分原封不动地保留。
这里要打个比方，才能说清楚这个设计的分量。
想象你在健身房请了个私教，私教水平一般，但他确实教过你一些正确的发力技巧。现在你力量已经超过私教了，如果私教直接上来纠正你每一个动作细节，非要你做得跟他一模一样，你反而会被拖慢，因为你的身体条件已经能做出比他更好的动作。但如果私教只是告诉你"上次训练之后，我自己调整了哪些发力习惯"，然后你只在自己本来就打算这么发力的地方，采纳私教的建议，加大力度去做，其余动作还是按自己的判断来，那你既用上了私教的经验，又没被他的能力上限捆住。如果不这样做，会发生什么？私教非要你复刻他的每个动作，你的训练效果就被锁死在私教这个水平线附近，这正是普通蒸馏方法遇到的问题。
这个设计的数学性质也很讲究。论文证明了两件事：第一，这种缩放操作不会改变梯度为零的位置，也就是说不管你怎么缩放，只要学生自己的策略梯度本来就是零（意味着已经达到某种最优），那缩放后依然是零，这保证了整个强化学习目标的稳定点没有被破坏；第二，缩放之后，这个新梯度和原始梯度的内积一定不小于原始梯度的平方，也就是说这次操作只会带来非负的额外收益，不会把学生往错误方向推。
这就好比给汽车加装了个涡轮增压器，涡轮只在你已经踩下油门的方向上提供额外助力，它不会自己转动方向盘，车子最终能不能到达目的地、往哪个方向走，还是由你自己的驾驶决定，涡轮只是让你加速更快。如果没有这个涡轮，车子照样能到目的地，只是要多花不少时间；但涡轮不会替你决定该往哪拐弯，方向盘握在司机手里。
**正负两个方向，为什么要分开、分先后处理**
这里还有个细节值得展开讲。
学生的策略梯度跟老师偏移方向对齐的时候（论文里叫"对齐系数"为正），说明学生和老师这次想法一致，放大这部分很自然，等于老师说"这么做是对的"，学生也这么想，那就使劲往这个方向走。但如果学生的梯度跟老师方向是相反的（对齐系数为负），说明学生这次想跟老师不一样，这时候放大这部分梯度，等于是在强化"学生打算偏离老师、走自己的路"这件事。
**对齐系数**：衡量学生的策略梯度和老师的策略偏移方向是否指向同一个方向的数值，正值表示两者步调一致，负值表示学生打算走一条和老师不同的路。
论文一开始想得挺简单，两个方向都用同样强度放大不就行了？结果实验发现不对。如果一开始就把负向的放大力度拉满，训练很容易崩，因为学生刚开始的时候，自己生成的回答质量还很差，这时候"跟老师唱反调"的信号里，混杂着大量真正有价值的探索，也混杂着大量纯粹的噪声和瞎蒙。全力放大这部分，容易把噪声也一起放大了。
论文附录里做了个很直观的实验，把正向和负向分开单独测试。结果显示，只放大正向对齐的部分，前期进步飞快，但回答长度会迅速膨胀到逼近生成上限，之后性能开始下滑；只放大负向对齐的部分，回答会迅速变短，但性能也很快掉到接近于零。这说明单独拎出来看，两个方向各有各的问题，都不能孤立地全力使用。
于是论文最终采用的方案是：正向的放大从训练一开始就拉满，因为这部分信号相对可靠；负向的放大力度则从零开始，随着训练推进慢慢爬升到跟正向一致的强度。
这背后的逻辑其实很朴素，好比刚学开车的新手司机，教练在旁边说"往左打方向盘没错"的时候你可以直接信，因为这时候教练判断基本靠谱；但如果教练说"这次别听我的，你自己感觉对不对"，这种建议在你刚上路、经验不足的时候反而容易出问题，等你开得熟练一些了，这种"打破常规"的建议才真正有价值。如果一开始就同等力度采纳这两种建议，很可能在你还不会判断的时候就被带偏了。
**这套方法到底管不管用，数字说话**
论文在两大类场景下做了系统实验：一类是"接力赛"场景，用一个训练过的4B模型去教一个8B的模型；另一类是"多老师汇总"场景，用四个各自专精不同领域的4B模型（分别擅长逻辑推理、算法、游戏等），一起去教一个8B的学生模型。
在接力赛场景里，数学任务上，OPRD用大约100步左右的更新就追上了纯强化学习方法（GRPO）训练150步才能达到的水平，早期检查点的表现比对比方法高出22.7个百分点。更关键的是，在线蒸馏方法一旦学生追上老师就基本停滞不前了，而OPRD会继续往前走，最终把GRPO和在线蒸馏都甩在身后。
**GRPO**：一种流行的强化学习训练算法，全称是Group Relative Policy Optimization，核心思路是让模型对同一个问题生成多个回答，通过组内相对比较来计算每个回答该被鼓励还是惩罚，不需要额外训练一个价值网络。
在多老师汇总场景里，四个专精4B模型的平均表现是44.65分，把它们全部汇入一个8B学生之后，OPRD训练出来的学生达到58.77分，不仅远超四个老师的平均水平，还在每一项专精任务上都单独超过了对应的专家模型，说明这不是"拆东墙补西墙"的取舍，而是真正的整体提升。
论文还专门测了一个"反过来"的场景，也就是传统的强到弱蒸馏，用8B模型教1.7B模型。结果显示OPRD依然管用，比在线蒸馏在数学任务上高出3.79分，在逻辑推理任务上高出接近30分。这说明这套方法不是专门为"以弱教强"量身定做才有效的技巧，而是一种更通用的梯度处理思路，不挑教师和学生谁强谁弱。
**这个方法不是完美的，论文也诚实地承认了两个坑**
第一个坑是，如果学生自己的策略梯度本身就是零，那OPRD就没什么可放大的了。这种情况会在什么时候发生？如果验证器给同一组回答打的分数完全一样（比如全对或全错），组内相对优势就会归零，梯度自然也是零。论文里做了个实验，用8B模型教1.7B模型做逻辑推理任务，结果发现大部分回答质量太差，导致大量分组里的奖励都一样，这时候OPRD的加速效果就很有限了，反而不如在线蒸馏，因为在线蒸馏提供的是密集的逐词监督，不依赖验证器信号是否有区分度。
第二个坑更微妙，跟回答长度有关。如果选的参考策略本身回答就特别长，而训练后的老师回答变短了很多，那这中间的偏移方向里，就会掺杂大量"变短"这个偏好，跟真正有价值的推理能力提升混在一起。论文用了一个具体案例说明这个问题：把参考策略选在老师刚开始训练的那个时间点，结果学生学得特别快，但很快就卡在52.5分不再进步，比什么都不用还差，因为学生把主要精力都花在"怎么把回答变短"这件事上了，而不是提升推理质量本身。解决办法是把参考策略往后挪一挪，选在老师那次剧烈的长度收缩已经完成之后的检查点，这样偏移方向里的长度噪声就被过滤掉了大部分，学生的表现直接跳到89.5分。
这两个坑其实指向同一个更深的问题：**任何提取出来的"变化方向"都可能混杂着噪声和无关偏好，而OPRD的放大机制会把这些噪声也一并放大**。
论文对此没有回避，专门用附录篇幅去讨论怎么选参考策略、怎么设计正负分支的放大节奏，试图把这个噪声问题控制在可接受范围。但完全干净地把"有用的信号"和"无关的偏好"分离开，论文自己也承认还是个open问题。
写在后面
读这篇论文的时候，我一直在想一个问题：为什么"只借方向、不借终点"这个思路，之前没人这么明确地做出来？
后来想明白了，可能是因为这个思路听起来有点反直觉。大多数迁移学习的默认假设是，你想学一个东西，就得朝着那个东西的方向去逼近，逼近得越像越好。OPRD这里做的事情，其实是把"逼近"这个动作从目标层面挪到了梯度层面，学生压根不需要知道老师最终变成了什么样子，学生只需要知道老师"往哪个方向变了"，然后自己决定要不要沿着这个方向多走几步。这是个挺微妙的转变，从"模仿结果"变成了"参考经验的方向感"。
论文里那个"响应风格分析"的实验我觉得特别值得单拎出来说。研究者们测了OPRD训练出来的学生和在线蒸馏训练出来的学生，在写作风格上（连接词使用、语气词、句子结构这些细节特征）到底更像谁。结果发现，在线蒸馏训练出来的学生，训练到后期反而越来越像老师；而OPRD训练出来的学生，从头到尾都更像那个完全靠强化学习自己摸索出来的学生。这个细节挺有意思，它间接证明了OPRD确实没有把老师的"说话习惯"传染给学生，学生学到的是能力，不是腔调。
还有一个地方让我印象很深，就是论文里那个具体的token级案例。学生在做一道数学题时，自己想到的解法是直接算出结果，而老师当年学到的解法是绕个弯先算个中间和。OPRD最终让学生选择了自己那条更直接的路径，而不是被拽回老师的思路上。这大概是"学生超过老师"这句话在具体计算层面最真实的样子，不是抽象的分数提升，而是学生真的走出了一条老师从没走过的路。
这套方法对算力和显存的额外开销并不大，论文里测过，加上教师和参考策略两个冻结模型的前向计算，训练时间只多了11.9%，显存多了10.2%。这意味着这不是一个只能在论文里跑一跑的理论方案，而是有可能真正被用在实际的模型迭代流程里的东西。
如果未来真的有一条"模型教模型"的迭代链条，一代一代往下传，那这篇论文提出的思路，或许会是这条链条里一个不起眼但关键的齿轮。
Q&A
Q1：On-Policy Reverse Distillation是什么？
A：On-Policy Reverse Distillation（简称OPRD）是一种让强模型从弱模型那里加速学习的训练方法，它不是让强模型直接模仿弱模型的输出，而是提取弱模型训练前后策略变化的方向，用这个方向去放大强模型自己基于验证器反馈算出的策略梯度中对齐的部分，从而既加速学习又不被弱模型的能力上限限制。
Q2：OPRD和传统的知识蒸馏有什么区别？
A：传统知识蒸馏让学生模型直接模仿老师模型的输出分布，学生的能力上限容易被老师限制住。OPRD不要求学生模仿老师的最终策略，只借用老师训练过程中学到的"变化方向"来加速放大学生自己的策略梯度，学生依然按自己的判断走，因此能够超越老师的水平。
Q3：OPRD方法有什么局限性？
A：论文提到两个主要问题，一是如果学生的策略梯度本身接近零（比如验证器给出的奖励区分度不够），OPRD就没有可放大的信号；二是如果参考策略和老师策略在回答长度上差异过大，提取出的方向会掺杂长度偏好噪声，可能误导学生过度关注长度而非推理质量，需要谨慎选择参考策略来缓解。
