地平线发布 LoFT 原生视频几何基础模型,让机器人更好感知三维空间
(来源:环球网资讯)
来源:环球网
【环球网科技综合报道】11月18日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。该模型能够从普通 RGB 视频中估计相机位置、朝向及场景深度,恢复视频中的三维空间结构,为机器人空间感知、环境理解和具身学习提供基础技术支撑。这也是地平线持续布局物理 AI 基础研究的一项新进展。
让机器人理解三维空间,是其走向真实环境、自主完成复杂任务的重要前提。 机器人不仅需要识别眼前的物体,还需要判断物体的位置、距离及其与周围环境的空间关系。如何从连续视频中提取这些空间信息,是具身智能领域的重要研究课题。
针对这一问题,LoFT 将视频时序建模与三维几何学习相结合,采用双循环 Transformer 架构。一组循环结构负责整合不同视频帧中的视觉信息,另一组则持续更新相机状态,使模型能够利用视频中不断变化的视角,逐步恢复更准确的三维场景结构。整个过程仅需输入 RGB 视频,无需额外提供深度或相机位姿信息。为支撑模型训练,地平线机器人实验室构建了统一的三维重建数据处理与训练平台,涵盖约297万条有效训练序列、9.62亿帧图像记录,覆盖真实与仿真、动态与静态等多种场景,为模型学习不同环境下的三维几何特征提供了数据基础。
在性能评测方面,LoFT 在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中的多项深度估计指标上取得领先表现,在相机位姿与轨迹恢复方面也展现出具有竞争力的性能。相关实验与案例展示了模型在机器人第一人称视角、动态街道、室内环境及开放场景中的三维重建能力,包括对快速运动物体、动态车辆以及复杂场景细节的几何恢复。这些能力有望为机器人理解真实环境提供新的技术支撑。例如,在自主移动与环境探索中,三维空间信息可以辅助机器人建立环境地图、判断空间位置与障碍物分布;在物体操作中,几何信息也可为物体定位、空间关系理解和动作规划提供参考。未来,相关能力还有望与视觉语言模型、世界模型和机器人策略学习进一步结合。
LoFT 的发布也是地平线机器人实验室持续开展具身智能基础研究的一部分。此前,团队已推出具身智能仿真数据引擎 EmbodiedGen、通用操作基座模型 HoloBrain 和人形机器人全身运动控制模型 HoloMotion,并开源 RoboOrchard 机器人学习基础设施。这些研究分别围绕数据生成、环境感知、机器人操作和运动控制等关键问题展开,逐步形成覆盖具身智能多个技术环节的研究体系。
从智能驾驶到更广泛的机器人应用,环境感知、决策与控制始终是智能系统需要解决的核心问题。地平线创始人兼 CEO 余凯此前曾在公开演讲中表示,公司创立之初便着眼于未来机器人无处不在的时代,希望为机器人提供智能计算平台。地平线在智能驾驶领域积累的算法研发、软硬件协同与工程实践,也为探索更多机器人形态提供了技术经验。面向未来,地平线机器人实验室将继续探索三维重建与视觉生成的统一建模、大规模视频自监督学习及通用空间表征,并推动相关技术与空间记忆、世界模型和机器人策略学习相结合,在自主导航、灵巧操作等真实任务中持续验证和完善相关能力,推动物理 AI 基础研究向实际应用延伸。(青山)