独家|刚刚,启元PrimeSim世界模型,登顶两大机器人权威榜单
机器之心Pro
机器之心发布
训练机器人控制策略高度依赖仿真环境,但传统手工搭建的仿真器规模化落地门槛极高。
今日,启元具身研究中心正式发布 PrimeSim,一款面向机器人操纵任务的世界模型仿真器。它基于预训练视频生成模型,经由中训练、后训练两阶段改造,具备替代传统仿真器的交互推演能力。
在 EWMBench 基准上,PrimeSim 拿下 6.09 的综合得分,位列榜首;在 WorldSimProbe 的五项评测维度中,斩获三项第一。
PrimeSim generated demos
为什么机器人需要「从数据中学出来的仿真器」
理想的机器人仿真器,应当满足几个核心特质:能够并行调度上万条轨迹 rollout、支持场景精确重置且无硬件损耗、无需针对不同场景大量工程定制,同时尽可能缩小现实鸿沟(sim-to-real gap)。
但只用视频生成模型做这件事,「视觉逼真」远远不够。作为仿真底座,它必须同时守住三重约束:
严格服从策略输出的动作指令;
多相机视角之间保持几何、语义一致;
在远长于训练上下文窗口的长时间推演中维持状态连贯。
在团队看来,现有的通用世界模型大多只能满足其中一到两项,很难同时兼顾三者。
技术路径:先中训练,再后训练
PrimeSim 采用两阶段改造范式,将原生双向视频生成模型逐步转化为可交互、可自回归滚动的世界模型仿真器。
第一阶段:中训练|从视频生成模型到机器人世界模型
模型训练基于 30110 小时精选机器人演示数据,覆盖人形、双臂、单臂、手持 UMI 设备等 22 种异构机器人平台,混合真实采集数据与传统仿真数据;其中人形机器人样本占比 54.8%,真实世界数据占比 84%。核心设计包含三点:
统一动作表征:将头部、躯干、腰部、末端执行器、夹爪、底盘的控制信号编码至同一动作向量,实现跨本体兼容;
帧对齐双路径条件注入:结合时序对齐注意力机制与直接动作注入,强绑定控制指令与生成运动;
视角感知交错注意力:引入显式相机标识完成跨视角信息交互,保证多视图一致性,避免不同视角画面互相坍缩。
第二阶段:后训练|高速生成 + 长时序记忆
自回归仿真的难点在于,模型需要基于自身上一步不完全精确的预测继续推演,而原生视频生成模型仅在固定长度真值上下文上训练。团队针对性设计三项机制:
高速生成链路:分块因果适配 + 四步一致性蒸馏,支撑长序列连续仿真;
自条件稳定性:以冻结双向教师模型作为参照,开展 Self-Rollout 的世界模型仿真器训练与非对称分布匹配,缓解误差累积;
分层时序记忆:在有界 KV Cache 内分层存储初始场景、稀疏长程历史、稠密近期运动,支撑超长推演。
这套方案最终把双向生成模型改造为因果、Self-Rollout 的世界模型仿真器:超过固定的训练上下文窗口后依旧可以稳定推演,最长支持两分钟以上连续 rollout。
在 RoboTwin 2.0 留出集、单张 A100 环境下,50 步去噪的因果自回归扩散基线速度仅 1.12 FPS,PSNR 26.15;CD 将去噪步数压缩至 4 步,速度提升至 10.04 FPS,PSNR 回落至 24.40;叠加 DMD 后,保持 4 步去噪,PSNR 回升至 24.87,LPIPS 由 0.193 优化至 0.176,相较 50 步教师模型整体提速约 9 倍。
实验结果
EWMBench:综合得分第一
PrimeSim 在 EWMBench 拿到 6.09 综合分,高于 GE-Sim(LTX,5.82)、GE-Sim(COSMOS2,5.79),同时领先 Thinker-WM、EnerVerse-FT、Qwen-RobotWorld、Sora2。分项上,HSD(1.000)、nDTW(1.000)、BLEU(0.570)、CLIP(0.954)、Logics(1.000)均取得第一名。
WorldSimProbe:五项指标三冠
WorldSimProbe 基于 LIBERO 设计五套评测套件,刻意剥离视觉观感、任务成功率的干扰,聚焦仿真器本身的动态保真度。PrimeSim 在全局轨迹覆盖(T2,67.9)、动作来源行为保持(T3,72.3)、交互动态(T5,37.1)三项登顶。
作为策略仿真底座:和传统仿真器高度对齐
实验选取 8 个 OpenVLA-OFT 策略,基线仿真器成功率区间 29.3%–85.0%,在 300 个共享初始状态的设定下,PrimeSim 与 LIBERO 原生仿真器的策略成功率相关系数 r = 0.99,MMRV = 0.000,平均绝对误差 |Δ| = 2.8。作为对照,Wan2.2-FT 对应指标为 r = 0.91、MMRV = 0.041、|Δ| = 8.3。
团队更进一步,直接在 PrimeSim 内部对 OpenVLA-OFT 做 GRPO 强化学习,每轮采样 512 条 episode,共计 200 轮更新。策略在原生仿真器上的成功率提升了 11.5%,在 PrimeSim 内的评估指标上涨了 11.8%。这证明:在该神经仿真器中得到的策略增益,可以有效迁移到传统物理仿真环境。
counterfactual action following demos
少样本本体迁移:新本体仅需 100–200 步微调
中训练赋予模型很强的跨本体迁移能力。适配 xArm 7、ViperX 300、UMI 夹爪分别只需要 200、100、200 步梯度更新;而仅经过通用预训练的模型,在 2000 步更新后仍无法产出可用效果。在 AgileX Piper 的 XVLA 场景中,布料、相机位姿、场景均未出现在训练集内:零样本推演时密集接触的布料形变会快速漂移;在单卡 A100,仅需不到 3 分钟,200 步微调后,布料形变跟随动作指令,多视角状态保持一致。
PrimeSim unseen embodiment few-shot demos. Left side is PrimeSim, right side is Wan2.2 5B
unseen camera and environment zero-shot demos
推理性能:单卡 A100 可达 10.12 FPS
单张 A100-80GB,三视角、单图分辨率 288×384、一次预测 32 帧未来画面、4 步去噪配置下,PrimeSim 实现 10.12 TempFPS、30.35 ViewFPS;吞吐能力约为 GE-Sim 2.0 的 4.5 倍、Ctrl-World 的 11.6 倍。
消融实验:各模块设计均带来明确收益
多视角机制消融显示:仅做帧拼接时 PSNR 仅 16.30;加入视角 token 条件后提升至 23.78;叠加视角内交错注意力后达到 24.56,LPIPS 由 0.58 降至 0.15。
工作小结
团队基于实验得出四点核心结论:
这是一套可复现的工程配方,而非单点模型:「中训练 + 后训练」渐进式流水线,能够把通用视频生成模型改造为可交互机器人世界模型仿真器;
动作保真度可以通过数据规模习得:统一动作表征搭配双路径条件注入,在 22 种异构本体上实现控制信号与运动生成的强绑定;
世界模型具备替代传统仿真器的潜力:和原生仿真策略成功率相关性高达 0.99,在模型内部做强化学习的收益可迁移;
兼顾精度与工程实用性:10.1 FPS 推理速度、超两分钟长时序推演、新本体仅需百级步数微调。
据机器之心了解,PrimeSim 的权重、推理代码、训练代码即将开源。