新浪科技 股票

机器人学会新技能后,为什么总会忘记旧技能?

市场资讯 11.16 21:54

(来源:科技行者)

你有没有遇到过这种情况:学会了一门新语言之后,突然发现以前学的那门外语变得生疏了?大脑好像在给旧知识腾地方,新东西进来了,老东西就被挤到角落里蒙了灰。

机器人也有同样的烦恼,而且更严重。

想象一个在工厂里工作的机械臂,它先学会了拧螺母,表现得不错。过了一个月,工厂来了新订单,需要它学会插销钉。于是工程师们重新训练它。结果三个月后回头一看,这台机械臂插销钉插得挺好,可拧螺母的本事忘得一干二净。这不是段子,这是机器人领域一个真实存在、而且相当棘手的问题。

这篇来自英伟达和韩国科学技术院(KAIST)的论文,就是在想办法解决这件事。

当下的机器人大模型,卡在哪儿了

先说说背景。

这几年机器人圈子里出现了一类叫做机器人基础模型的东西,英文是 Robot Foundation Models,简称 RFM。

RFM:在海量机器人数据上预训练出来的大模型,能理解视觉、语言和动作之间的关系,典型代表是 VLA(视觉-语言-动作模型)和 WAM(世界动作模型),它们有点像机器人界的 GPT,见多识广,什么任务都能上手试一试。

这些模型确实厉害,能处理很多种操作任务。但问题是,它们是在"见过的数据"上训练出来的,碰到没见过的新任务、新零件、新场景,表现就会打折扣。这时候就需要用强化学习来做进一步的微调,让机器人通过自己动手尝试、拿到奖励信号来改进动作。这个过程叫做 RL 后训练。

强化学习(RL):一种让智能体通过不断试错、根据任务完成与否获得奖励来改进行为的学习方式,区别于靠人类示范来学习的模仿学习。

但现有的做法大多把 RL 后训练当成一次性的事:针对一个任务训练好了就结束,下一个任务再重新训练一遍。这就好比每次换个新项目都要从头招聘团队、从头培训,之前攒下的经验全部作废。

在装配这种真实场景里,这个问题尤其突出。想象一下工厂里的装配流水线,产品型号在不断迭代,今天装的是圆形插头,明天可能换成方形插头,后天又出了个带螺纹的新零件。每次零件一变,机器人就得重新学习怎么用力、怎么对准、怎么处理接触中的细微偏差。如果每次都从零开始练,那成本高得吓人,真实机器人的每一分钟交互都是实打实的硬件磨损和人工看护时间。

论文作者把这个需求总结得很直接:机器人持续学习新任务,必须尽量减少每个新任务需要的训练量,同时不能把之前学会的本事丢了。这就是文章的核心命题。

两条老路,各有各的坑

在 ACCRUE 这篇论文出现之前,大致有两条路子在尝试解决持续学习的问题。

第一条路是用在线策略(on-policy)强化学习去做持续适应。这类方法确实能缓解遗忘问题,但有个硬伤:在线策略方法要求每次更新都用当前策略刚采集的新数据,不能把以前攒的经验直接拿来复用。这就好比你每次做决策都必须现场重新调研,哪怕你上周刚调研过类似的问题,那份报告也不能直接用,得重新跑一遍流程。效率自然上不去。

第二条路是离线策略(off-policy)强化学习,比如论文里提到的 RL Token 和 EXPO-FT 这些方法。它们在单个任务上效率很高,因为可以反复利用过去收集的交互数据,不用每次都重新采样。

离线策略(off-policy)强化学习:一种允许用历史交互数据(不一定是当前策略生成的)来更新策略的学习方式,相比在线策略,数据利用率更高。

但这类方法目前基本只盯着单个任务做优化,没有考虑任务与任务之间该怎么接力。相当于你雇了一个特别高效的员工,但每次换项目都要把他开除重新招聘一个,他个人的效率再高,组织层面的经验传承依然是零。

这就是问题所在:在线策略方法想传承经验但效率低,离线策略方法效率高但不懂传承。ACCRUE 想做的,就是把两者的优点捏合在一起。

ACCRUE 的核心思路:让"演员"和"评委"都别下岗

论文提出的方法叫 ACCRUE,全称拆开来看是"用保留经验实现持续离线策略强化学习的演员-评论家继承",这名字有点绕,但核心机制其实很好理解。

在强化学习里,通常有两个关键角色:一个叫 actor(演员),负责根据当前状态决定做什么动作;一个叫 critic(评论家),负责评估这个动作好不好,给演员打分、指导改进方向。

Actor-Critic 架构:一种经典的强化学习框架,演员网络负责生成动作,评论家网络负责评估这些动作的价值,两者配合着共同进步。

传统做法是,每来一个新任务,演员和评论家都从零开始重新训练。ACCRUE 的做法是,让这两个轻量级网络在任务切换的时候不下岗,而是把上一个任务训练好的参数直接继承过来,作为新任务的起点。

这就好比一家公司招了个新项目经理,但不是让他从零摸索,而是把前任经理积累的工作笔记、客户关系、常见问题处理方案都原封不动交接给他。新任务不一样,但很多底层的判断力和经验是可以复用的。如果不这样做,每次换项目经理都从白纸开始,招聘培训成本翻倍不说,很多本可以避免的弯路还得重新踩一遍。

但光是继承还不够,这里有个很现实的矛盾:评论家如果拿着新任务的数据去调整自己的打分标准,它对旧任务的判断会慢慢失真。打个比方,一个常年只评判川菜的美食评委,突然天天吃粤菜评分,久而久之他对川菜的口味记忆会模糊,再让他给川菜打分,可能已经不准了。

论文作者对此的处理方式是**只让评论家在当前任务的数据上更新,绝不用评论家去评判旧任务上的动作该怎么改进**。

这个设计听起来有点反直觉,按理说评论家见过的数据越多应该越全面才对。但论文的解释是,继承来的评论家对新任务的理解还不深,如果马上拿它去评判旧任务的动作,那打分本身就不可靠,用一个不可靠的评委去指导演员"改进"旧任务的表现,反而会把演员带偏,侵蚀掉之前学会的技能。

那旧任务的技能怎么保住呢?论文用的办法叫**行为蒸馏**。

行为蒸馏(Distillation):让一个新模型去模仿另一个已经训练好的模型(教师)的输出,从而继承教师的能力,而不需要重新学习整个过程。

具体做法是,每个任务结束后,系统会保留这个任务里最后 N 个训练过程中的回合(在主要实验里是 20 到 100 个回合),把它们存进一个小的"记忆库"里。进入下一个任务训练时,系统先把上一阶段训练好的演员网络在这些保留的样本上跑一遍,把它的输出结果缓存下来,当作"标准答案"。然后在训练新任务的同时,额外要求当前的演员网络在这些保留样本上尽量模仿这份"标准答案"。

这个做法很像老师傅带徒弟的方式。老师傅退休前,把自己最拿手的几个关键动作录下来留作参考视频。新徒弟进来学新手艺的同时,每隔一段时间要对着这几个参考视频练习,确保基本功不走样。至于新手艺到底学得怎么样,不需要退休的老师傅来打分,因为他可能根本没见过这门新手艺,让他打分反而添乱。这样一来,新技能的评判交给懂行的新评委(当前任务的评论家),旧技能的保留交给参考视频(行为蒸馏),两件事互不干扰。

保持视觉特征的稳定性:别让地基跟着晃

ACCRUE 还有一个设计细节值得说一说,这个细节解决的是一个很容易被忽视但实际上很要命的问题。

机器人每拿到新任务的示范数据,基础模型(VLA 或者 WAM)本身也会被微调一下,用来吸收这些新示范里的知识。但基础模型一旦更新,它内部处理图像的方式也可能跟着变化,这意味着继承下来的演员和评论家网络,接收到的视觉输入可能已经"面目全非"了。

论文的解决方案是,引入一个独立于基础模型、而且全程冻结不动的外部视觉编码器,叫做 DINOv3,专门负责把摄像头画面转换成特征向量,供演员和评论家网络使用。

视觉编码器(Visual Encoder):一种把图像转换成数值特征向量的神经网络模块,这里特指论文中使用的 DINOv3,它独立于机器人基础模型,并且在整个训练过程中参数保持冻结不变。

这个设计的必要性在论文的对比实验里体现得很清楚。如果把这个固定编码器换成跟着基础模型一起更新的视觉模块,继承效果明显变差,遗忘程度上升,新任务学习效率也下降了。这就好比你公司换了一批新员工,但办公楼的门禁系统、工位编号、内部沟通软件全都保持不变,新员工能很快上手是因为环境是稳定的。如果每来一批新员工就把整个办公系统重新装修一遍,哪怕是老员工也会觉得无所适从,更别说要把经验传承给新人了。

除了视觉特征,ACCRUE 还让演员和评论家网络参考基础模型给出的"参考动作",也就是基础模型针对当前状态直接提出的动作建议。演员网络不需要凭空想象该怎么动作,而是在这个参考动作的基础上做局部微调。这样一来,持续学习需要保留的东西,就从"整套完整技能"缩小成了"对参考动作的微调经验",需要记住的信息量小了很多,自然更容易保留下来。

实验是怎么验证的

光讲道理不够,这篇论文做了相当扎实的实验来验证 ACCRUE 到底好不好用。

实验分为仿真环境和真实机器人硬件两部分。

仿真部分用了两个装配类基准测试,一个叫 FORGE,一个叫 AutoMate,都是搭建在 Isaac Lab 仿真平台上的接触密集型(也就是需要精细力控的)装配任务。FORGE 包含拧螺母、插销钉、啮合齿轮三个任务,按不同顺序组成三阶段任务序列。AutoMate 规模更大,包含四组五阶段的装配任务序列,每组序列对应不同形状的插头插入对应插座。

在这些仿真测试里,ACCRUE 和多种对照方法进行了比较,包括:只用当前任务数据训练的 Sequential 方法、把旧数据直接拿来做强化学习更新的 ER 方法、通过惩罚参数偏移来防遗忘的 EWC 方法、通过参数插值融合新旧网络的 RETAIN 方法,以及作为外部参照的 Simple Recipe(直接用在线策略强化学习微调基础模型)。

结果上,在 FORGE 基准上,ACCRUE 的负向后向迁移指标(衡量学新任务时对旧任务的伤害程度,越低越好)只有 0.065,而排名第二的 EWC 是 0.217,差距相当大。最终准确率上,ACCRUE 达到 0.917,远高于其他对照方法。AutoMate 基准上的结果也类似,ACCRUE 的最终遗忘程度只有 0.054,远低于 ER 的 0.176 和 RETAIN 的 0.192。

更有意思的是真实机器人实验。研究团队在 DROID 平台上搭建了两组真实世界任务序列:一组是 NIST 标准装配任务板上的三阶段插入任务(矩形销钉、圆柱销钉、齿轮啮合),另一组是把仿真里的 AutoMate 任务搬到真实 3D 打印零件上,做成五阶段序列。

真实机器人实验的结果相当直观:继承演员和评论家网络,能把达到停止标准(连续 20 次尝试里 19 次成功)所需要的机器人交互时间,减少 31.0% 到 68.5%。而且旧任务的保留几乎是完整的,每个之前学过的任务,在后续阶段结束时重新测试,20 次试验里至少成功 18 次,平均成功 19.4 次。

这个数字差距在真实硬件上比仿真里还要明显,论文给出的解释是,真实机器人每一分钟的训练时间都是稀缺资源,一个好的起点在这种场景下价值被放大了。这就好比同样是节省半小时,对于一个时间排得很满、随时要切换会议的人来说,这半小时可能就是能不能多开一个会的区别;而对一个时间很宽裕的人来说,半小时可能只是多喝杯咖啡的事。真实机器人训练场景,正属于前一种"时间排得很满"的情况。

拆解各个零件:哪个设计真的有用

论文还做了一系列消融实验,也就是把方法里的某个部件拿掉或替换,看看效果会怎么变化,借此验证每个设计到底是不是真的必要。

有几个发现挺值得说道。

关于视觉编码器的选择,论文把固定不变的 DINOv3 换成跟随基础模型一起更新的 GR00T 视觉语言模块,结果负向后向迁移从 0.028 恶化到 0.071,最终准确率从 0.961 跌到 0.883。这证实了固定视觉表征对于跨阶段继承的重要性。

关于参考动作条件,论文尝试去掉演员网络对参考动作的依赖,让它只根据视觉状态做决策,结果最终准确率也从 0.961 降到 0.936,证明参考动作确实提供了有用的额外信息。

关于保留记忆的大小,论文测试了保留 10、20、50、100、200 个回合这几种设置,发现并不是保留得越多越好。保留 100 到 200 个回合时表现最佳,但保留 200 个回合的效果反而比 100 个回合略差。这个结果有点反直觉,按常理说记忆库越大信息越全,效果应该越好才对。但实际情况是,保留过多旧数据占用了训练过程中的资源分配,让当前任务的学习效率受到了挤压,这说明持续学习不是简单地"多囤点旧数据"就能解决的,需要在保留和学习之间找一个平衡点。

论文还专门测试了基础模型本身发生遗忘时 ACCRUE 的表现。他们故意减少给基础模型微调时使用的旧任务示范数据比例,从 100% 一路降到 5%,模拟基础模型本身在持续学习里出现退化的情况。结果显示,即便基础模型本身的表现在下滑,ACCRUE 依然能够维持相对不错的遗忘控制效果,这说明这套机制对基础模型本身的稳定性不是完全依赖的,具备一定的容错能力。

此外,论文还在另一种基础模型架构 Fast-WAM(世界动作模型)上重复了实验,证明 ACCRUE 的有效性不依赖于某个特定的基础模型类型,无论底层用的是 VLA 还是 WAM,这套持续学习机制都能稳定发挥作用。

这件事为什么重要

把这些结果串起来看,ACCRUE 解决的其实是一个很朴素但长期被低估的矛盾:机器人想要持续进化,必须不断吸收新技能,但每次吸收新技能的过程,天然带有把旧技能冲淡的风险。

这篇论文给出的答案不是某种复杂的理论突破,而是几个朴素设计的精巧组合:继承而不是重置、分工而不是混用(评论家专注当前任务,蒸馏专注旧任务保留)、固定视觉接口保证兼容性。这几件事单独看都不算石破天惊,但组合在一起,让一个原本需要反复从零开始的流程,变成了一个可以持续累积经验的流程。

对于真实世界里需要长期服役、不断接触新任务的机器人来说,这种"经验能攒得住"的能力,可能比单次任务学得多快更重要。

Q&A

Q1:ACCRUE是什么?

A:ACCRUE是英伟达和KAIST联合提出的一种持续离线策略强化学习框架,专门用于让机器人基础模型在学习新任务时,不用从零开始训练,同时还能保留之前学过的技能。

Q2:ACCRUE相比传统方法能节省多少训练时间?

A:在真实机器人实验中,ACCRUE能把达到95%成功率所需的交互训练时间减少31.0%到68.5%,同时让旧任务的平均成功率维持在约97%左右。

Q3:ACCRUE为什么不让评论家网络去评判旧任务的表现?

A:因为保留的旧任务样本数量有限,继承来的评论家网络在这些样本上的打分可能不够准确,如果用不准确的打分去指导旧任务的动作调整,反而会侵蚀已经学会的技能,所以论文选择只用蒸馏方式保留旧行为。

加载中...