NeurIPS 2026|不重构预训练VLA结构,ActionUNet用轻量多尺度微调提升机器人鲁棒性
机器之心Pro
本文作者来自中国科学院大学 LAMP 实验室。其中,第一作者朱迪为中国科学院大学 2025 级硕士研究生,共同第一作者严子恒为中国科学院大学 2024 级博士研究生,主要研究方向为具身智能,重点关注视觉 — 语言 — 动作(VLA)模型与机器人操作学习。
指导教师:万方,中国科学院大学计算机学院副教授、博士生导师。
简介
大规模预训练让视觉 — 语言 — 动作(Vision-Language-Action,VLA)模型积累了丰富的视觉、语言与动作先验。然而,当模型使用有限的任务示范进行下游监督微调(SFT)时,仍可能过度适应训练场景:在熟悉的环境中完成操作,却在出现额外物体或场景变化时表现不稳定。如何在后训练 SFT 阶段以较低成本提高 VLA 模型的鲁棒性,同时保留已有预训练能力,是本文关注的问题。
中国科学院大学 LAMP 实验室提出ActionUNet,一种面向预训练 VLA 的高效多尺度微调框架。该方法不重构预训练主干,而是在动作特征空间引入轻量级 Temporal U-Net,融合粗细不同的时间尺度信息,并通过条件 SIREN 解码器生成连续、平滑的动作。实验表明,在 π0.5 基线上,ActionUNet 分别使 RoboTwin 2.0 困难场景、LIBERO-Plus 扰动测试和真实双臂机器人困难场景的平均成功率提高 9.8、6.1 和 11.4 个百分点。
论文标题:ActionUNet: Improving Robustness of VLA Models with Efficient Multi-scale Fine-tuning
论文链接:https://arxiv.org/abs/2609.34982
论文代码:https://github.com/Di-Zhu123/ActionUNet
动机
预训练 VLA 通常先从图像、语言指令和机器人状态中提取信息,再由动作专家预测接下来的动作序列。对于下游任务,常见做法是利用少量示范数据继续微调,使模型适应具体操作。但如果训练样本集中在有限的场景条件下,微调后的策略就可能过度依赖这些条件,难以充分发挥预训练获得的通用先验。
研究者从动作执行过程进一步分析了这一问题。以 “叠放积木” 为例,机械臂在转移物体时需要较大幅度的运动,在接近目标、抓取及对齐时则需要小幅而精确的调整。论文通过相邻记录步的末端执行器位移度量动作尺度,发现尺度差异不仅存在于不同任务之间,也存在于同一任务的不同阶段。图 1 展示了这种跨任务、跨阶段的多尺度现象。
图 1:不同任务及同一任务各阶段的动作尺度差异。
方法
1. 时间 U-Net 多尺度动作特征建模(Temporal U-Net)。 对按时间步排列的动作特征进行逐级下采样,获得较粗尺度的整体运动信息,再逐级上采样,并通过跳跃连接保留细粒度动作细节。最终得到的特征既包含较长时间范围的运动结构,也保留关键操作阶段所需的局部信息。
2. 条件 SIREN 连续动作解码(Conditional SIREN)。 多尺度特征融合后,直接逐步输出动作可能造成不连续的变化。研究者将一段动作表示为可随时间查询的连续函数:各时间位置的特征用于生成局部动作函数,再用 Matérn 核加权融合相邻结果,以减轻高频抖动。对于采用流匹配训练的模型,还使用时间相关噪声,使训练目标与连续动作表示相协调。这个模块的作用,是在保留多尺度表达能力的同时改善动作衔接。
3. 面向预训练 VLA 的高效微调。 训练时冻结预训练主干,仅微调动作专家及新增的 ActionUNet。该模块可接入流匹配式的 π0.5,也可接入回归式的 OpenVLA-OFT,无需从头训练整套 VLA。这里的 “即插即用” 指的是架构易集成,并不意味着新增模块无需训练。在单张 RTX 4090 的相同测试条件下,加入模块后每次策略调用的平均计算延迟由 60.95 毫秒增加到 64.89 毫秒,额外开销约 6.46%。
图 2:ActionUNet 在预训练 VLA 的动作特征空间中引入多尺度建模与连续解码。
实验
RoboTwin Clean2Rand
在 RoboTwin 2.0 中,研究者选择了 12 个涵盖不同动作尺度组合的双臂任务,每项任务使用 50 条干净示范微调,并分别在 Easy 与 Hard 设置下评估。Hard 设置包含背景、光照、干扰物等环境变化,可用于观察模型从训练条件转向更复杂场景时的表现。
以 π0.5 为基线,ActionUNet 在 Easy 设置下的平均成功率由 59.6% 提升至 68.4%,在 Hard 设置下由 29.8% 提升至 39.6%,分别提高 8.8 和 9.8 个百分点。单尺度、双尺度和三尺度任务组均观察到总体收益,说明多尺度微调不只对某一类动作模式有效。
图 4:RoboTwin 2.0 各任务在 Easy / Hard 设置下的成功率(原论文 Table 1)。
LIBERO-Plus
LIBERO-Plus 在 LIBERO 上增加相机、机器人状态、语言、光照、背景、传感器噪声和布局七类变化。强调从干净训练数据到扰动测试环境的泛化表现。模型先在标准 LIBERO 上完成微调,再直接在 LIBERO-Plus 测试。
在 π0.5 上,ActionUNet 使 LIBERO-Plus 平均成功率由 65.8% 提升至 71.9%,七种扰动类型下均有改善;在 OpenVLA-OFT 上,平均成功率也由 60.9% 提升至 64.6%。此外,在标准 LIBERO 上,加入 ActionUNet 后的平均成功率分别达到 97.7%(π0.5) 和 98.6%(OpenVLA-OFT)。这些结果表明,多尺度微调不仅可改善扰动测试表现,也能维持较强的常规任务表现。
图 5:不同模型在 LIBERO-Plus 七类扰动下的成功率(原论文 Table 3)。
真实机器人实验
研究者进一步在 Realman Gen72 真实双臂机器人上测试物体入篮、叠积木和叠碗三个任务。在加入额外干扰物的 Hard 设置下,π0.5 的平均成功率为 57.3%,加入 ActionUNet 后达到 68.7%,提高 11.4 个百分点;在 Easy 设置下则由 76.0% 提升至 88.7%。
消融实验
为了判断性能增益来自多尺度建模还是动作平滑,论文在四个 RoboTwin 任务上分别测试了 Temporal U-Net、SIREN 及完整 ActionUNet。在困难场景中,原始 π0.5 平均成功率为 34.5%;仅加入 U-Net 为 37.3%,仅加入 SIREN 为 33.3%,完整 ActionUNet 则达到 46.5%。这说明仅使动作更平滑,并不足以获得多尺度微调带来的鲁棒性收益。
研究者还设计了参数量匹配的单尺度对照:保留相同参数规模,但移除时间下采样和跨尺度特征融合,其困难场景成功率为 38.5%,仍低于完整方法的 46.5%。这一对照进一步支持,性能提升不能仅归因于增加参数,关键在于多尺度动作特征建模。
可视化
论文进一步可视化了多尺度特征响应与预测动作轨迹。不同层级的时间特征对相应动作尺度具有更强响应;在相同初始条件下,ActionUNet 预测的末端执行器轨迹也更接近示范轨迹,局部动作变化更平顺。
图 6:相同初始条件下,π0.5 与 ActionUNet 的预测轨迹比较(原论文 Fig. 6)。
真实机器人可视化展示了额外干扰物存在时的物体入篮、叠碗与叠积木操作。图 7 中,上排为与训练场景一致的 Easy 设置,下排为增加干扰物的 Hard 设置,可以直观看到两种环境下的执行过程。
图 7:真实双臂机器人完成叠碗任务的关键帧,上排为 Easy,下排为 Hard(原论文 Fig. 7)。
整体而言,ActionUNet 采用一种 simple yet effective 的策略:在下游 SFT 阶段保留预训练主干,把改进集中在动作特征的多尺度建模与连续解码上,以较低额外开销提升给定干扰条件下的操作鲁棒性。