AI机器人技术发展落后于ChatGPT的关键原因之一，是缺乏足够的数据对模型进行训练。与互联网AI以静态大数据驱动不同，AI机器人是以机器人与环境交互为核心，关注从机器人身体出发的感知和交互，基于从环境交互中获得的数据进行学习，进行任务拆解，并执行物理任务。因此，机器人的AI化涵盖了三个层面的任务：环境感知（了解环境和需求）、任务规划（任务拆解、路径规划）、硬件驱动执行（机器人的平衡和实时精准的运动控制）。机器人与环境交互的数据资源有限（不同行业、不同场景，数据不同），收集数据极为昂贵且耗时，是机器人AI化的主要瓶颈。
真实场景的数据收集昂贵且耗时，合成数据成为“扩大机器人学习的强大且经济”的有效途径。训练数据的采集方式主要包括真实数据和合成数据。Google等机器人团队提出了RT-1（Robotics Transformer）多任务模型，为了训练该模型，Google耗时17个月仅收集到7000多个任务的13万条真实机器人数据。生成系统可以基于少量数据，自动生成大规模的丰富数据集，并且这些数据集横跨多个场景、对象实力、机械臂，还能用于长时程或高精度任务。英伟达与UT提出的MimicGen数据生成系统，用了不到200个人类演示，实现了在18个任务、多个模拟环境，甚至是现实世界中，自主生成5万个训练数据。
合成数据大力推动机器人AI化进程，进一步提升合成数据质量，匹配强大的算力支持是关键。合成数据集助力机器人从图像-文本模型（VLM）阶段向图像-文本-动作模型（VLA）阶段迈进。相比于VLM 模型，VLA 把机器人动作数据也作为一种模态融入大模型算法，可以用单个模型完成感知、决策、控制全流程计算，机器人可以实现端到端的解决方案，决策与控制的衔接更流畅，更具逻辑性。要实现VLA有效应用，需要缩小合成数据与真实数据之间的差距，保证质量与真实数据相匹配，准确模拟复杂的现实世界动态，提高数据的真实性和适用性。合成数据可能继承或放大源数据中的偏见，确保合成数据的公平性和无偏见也是一个重要挑战，特别是在敏感领域如医疗和法律。同时，合成数据的生成和处理需要大量的计算资源，深度神经网络的计算需求巨大，需要强大的算力硬件支持。
英伟达致力于推动基于合成数据训练AI。NVIDIA Omniverse是用于3D工作流程的虚拟世界模拟和协作的开发者平台：2021年NVIDIA发布 Omniverse Replicator合成数据生成引擎，旨在生成高质量、高性能且安全的数据集；2023年，英伟达更新Omniverse Replicator，引入了基于YAML的低代码配置器，使AI开发者更容易生成合成数据。Replicator 已集成到 NVIDIA Isaac Sim 机器人和 NVIDIA DRIVE Sim。在 ROSCon 2023 上，NVIDIA 宣布对 NVIDIA Isaac 机器人平台进行重大更新，以简化基于 AI 的高性能机器人应用的构建和测试。在CES 2024上，NVIDIA 机器人技术与边缘计算副总裁 Deepu Talla 介绍了生成式 AI 与机器人技术的融合，通过 NVIDIA Isaac 平台，生成式 AI 高效助力智能机器人从概念验证到实际部署的速度。
海外其他合成数据生成平台还有：Datagen、Parallel Domain、AI.Reverie、 Synthesis AI、Hazy、K2View、Datomize、Tonic.ai、Mostly.AI、Sogeti、Synthesized.io、YData、MDClone、Facteus、Anyverse、CVEDIA、Neurolabs、Rendered.AI、Gretel.ai等。
风险提示：1）新技术出现；2）投资过度。
文章来源
本文摘自：2024年1月14日发布的《人形机器人产业热点：合成数据》
肖群稀，资格证书编号：S0880522120001
鲍雁辛，资格证书编号：S0880513070005
更多国君研究和服务
亦可联系对口销售获取
