新浪科技

浙大校友自研跨模态模型,打造具身智能的“通用语法” | 元璟科技分享

市场资讯

关注

近来大模型技术的爆发,唤起了一大批研究者对于具身智能的关注。具身智能是一种将智能软件与感知硬件相结合的机器人形态,它突破了传统AI缺乏泛化能力的局限,能够像人类一样在与环境的互动过程中不断进化,兼具交互性与通用性。

元璟投后企业有鹿机器人的创始人陈俊波及团队开发了具身智能大模型LPLM。该模型通过预测未来的学习策略实现自我标注,还能更好地理解自然语言指令,并通过深度抽象和精细建模提升对物理世界的把握。陈俊波认为,具身智能的价值不只限于人形机器人,他和团队正致力于将该技术普及到各领域,以达成通用化的愿景。

若要理解“具身智能”这一概念,不妨从“具身”一词出发。具身并非简单的“具备身体”,但其核心的确在于“身体”的概念。1945 年,法国哲学家梅洛·庞蒂(Merleau Ponty)在《知觉现象学》一书中提出“具身”这一理念。

他认为,身体经验构成人类与世界互动和理解世界的基础。“具身”意味着投入到现实之中,即参与到一个规定的环境中去,与某些筹划融为一体,并持续地介入到其中去。由于它的置身性,身体成为人类认知世界的基础。

“拥有一个身体就是拥有一个通用的装置、拥有一个涵盖所有类型的知觉展开图式。”巧合的是,也正是在这一时期,英国计算机科学家阿兰·图灵(Alan Turing)在论文《计算机器与智能》(Computing Machinery and Intelligence)中,提出了一种能借助传感器与环境互动并自行学习的人工智能,而这正是如今“具身智能”的最初构想[1]。

因此,可以将“具身智能”理解为一种将智能软件与感知硬件相结合的不同形态机器人,它们同人类一样置身于真实环境中,在与环境的互动过程中不断促进自身“进化”。

传统 AI 需要依靠内置模型对世界进行表征,再根据这些表征建构行为概念,这种模式高度依赖人工数据标注,不仅缺乏应对多变情况的灵活性,也无法理解与任务相关的未标注因素。

由于传统 AI 泛化能力的不足,开发者必须针对每一种可能的行为状态和情境细致入微地定义,并收集相应的训练数据。这一过程不可避免地会导致任务复杂度呈指数级增长,使得为每一个微小的变化进行预先训练变得极为困难甚至无法实现。

而大模型中 Transformer 架构的引入,则使模型具有高效的并行计算能力与灵活性,从而可以处理大规模数据集,并能通过微调预训练模型,快速适应不同任务场景。同时,其层次化结构能做到对复杂数据深层次的抽象和解析。

因此,Transformer 架构的引入为具身智能领域带来了范式革新,使真正智能的具身机器人成为可能。这种变革可类比于从功能手机向智能手机的演进,具身智能机器人的优势正在于它所具备的交互性与通用性,即一种在开放的场景下实现自然交互的能力。

我们先来了解一下基于大模型实现具身智能的发展历史。第一代模型主要依靠大型语言模型(Large Language Model,LLM)和视觉语言模型(Visual Language Model,VLM)来处理物理世界的交互。

但是,这类模型受限于仅能通过视觉问答形式间接与现实世界互动,缺乏对复杂环境和实时交互的理解能力。

随着技术进步,以谷歌PaLM-E /RT2 为代表的第二代模型尝试整合 LLM 与视觉 Transformer,将自然语言与现实世界更紧密地结合起来。

不过,即便如此在构建四维世界模型、有效预测未来行为、以及在复杂交互场景中进行灵活推理等方面仍然面临挑战。

由功能型到智能型的转变

总的来说,由于技术水平的限制,关于具身智能的构想并未得到充分发展。直到近来大模型技术的爆发,才重新点燃了一大批研究者对于具身智能的探索热情。

在这股热潮中,陈俊波便是其中的一员。博士毕业于浙江大学计算机科学系的他,在人工智能领域积累了不少经验。特别是在与具身智能紧密相关的自动驾驶研究方向上,他曾主导开发达摩院“小蛮驴”无人驾驶物流机器人等项目,于 2023 年 2 月创立有鹿机器人公司。

陈俊波和团队研发的具身智能大模型 LPLM(Large Physical Language Model)作为一个端到端的具身智能解决方案,突破了传统深度学习依赖封闭集合和人工标注数据的局限,这归功于其解码器所采用的预测未来的学习策略。

具体而言,它会从观察到的数据中,自动地推导出复杂的时间序列模式,从而理解和预测数据中隐含的动态变化。这样一来,任何一段给定的数据,都可以根据已有数据自动标注。

这种自我标注机制能够极大提升模型从未标注数据中的学习效率和质量,因为它允许模型通过自身生成的预测,来不断校正和优化理解能力和表征能力,从而实现对于真实世界动态变化的适应。

以自动驾驶为例,在遇到需要车辆会车的复杂博弈场景时,LPLM 不仅能预测其他参与者的行为意图,还能在此基础上制定出最优行动策略,比如安全左转或让行,从而确保行车安全同时提高通行效率。

此外,LPLM 还增强了对自然语言指令的理解和执行能力。谈及这项能力重要的原因,陈俊波举例说道:“为什么目前的各类 Robo-taxi 虽然可用,但依然无法取代司机?原因之一在于,当我们提供一些比较模糊的信息位置时,它无法实现对于自然语言的准确识别。

通过引入超越原有二维 Visual Grounding 方法的 3D Grounding 机制,LPLM 能够更准确地定位物体。同时,LPLM 模型通过深度抽象和精细建模,显著提升了对物理世界复杂度的把握。

它将物理环境的信息提炼至与大型语言模型内部特征同等的高度,进行显式的逻辑映射,通过整合多模态数据,如点云、图像、声音和文字,构建出对环境的全面细致的表示。

这些不同形式的数据提供了丰富的环境信息,从三维形状和空间位置、到视觉特征、再到上下文环境指令,为模型提供了一个综合的世界视图。从而能够理解并响应非精确或模糊的指令,显著提高具身智能系统的适应性和执行效率。

打造具身智能的“通用语法”

陈俊波表示,具身智能最大的特质就是能像人类一样自主认知、思考与学习,因此与人类行为类似的人形机器人,自然成为了具身智能中备受关注的方向之一,如特斯拉Optimus、小米 CyberOne 等即为这类产品的代表。

但是,具身智能远不止人形机器人一种,尤其是在工业、物流等场景,与各类设备的结合才是其更广泛的价值所在。基于此,陈俊波和团队打造了一款通用“大脑”。

他们赋予这款大脑的,是一种智能设备领域的乔姆斯基“普遍语法”式的能力,旨在给各类形态各异的机器人提供一种普适的认知结构和行为指导规则。

但是,这种泛化并不简单,由于传感器模型、观察到的数据分布和交互能力的不同,一种机器人通过对象探索获得的隐性知识并不能直接被另一种具有不同形态的机器人利用[3]。

得益于 LPLM 具备对三维以至四维世界的理解能力,模型能够从数据中提取出许多共性信息,通过抽象、投影、转移等过程,充当一种适用于各类机器人的基础模型,这让它的通用化使用具有可能性。

目前,陈俊波和团队已经推出一款智能清洁机器人,并在杭州良渚古城遗址、上海中心大厦等标志性地点实地运行。

陈俊波表示,之所以首先选择清洁和物流机器人作为突破口,主要原因在于当前具身智能领域正处于“从无到有”的开创阶段。

如果一开始就直接推出通用智能机器人概念,许多潜在客户可能会因对该技术的不了解、使用的不确定性以及对其潜力认识不清而产生抵触。

因此,他和团队通过智能清洁的实际案例,更为直观地揭示出通用智能模型的潜在能力,从而促进该技术在更广泛领域的普及,以达成通用化的愿景。

在推出智能清洁机器人后,陈俊波计划将这一核心技术——智能“大脑”拓展至挖掘机、铲车等更多传统机械设备领域,实现更广泛的智能化改造。

但是,要想打破传统机器学习依赖人为编程与模块化集成的局限,并不能只依靠数据量的增长。

所以对于陈俊波而言,LPLM 以大规模数据驱动自我进化的潜能还有待充分挖掘。他补充称:“在具身智能赛道上,重要的不仅仅是技术本身的创新,更重要的是如何将这种智能技术以恰当的方式应用到不同的行业中。

为此,他和团队也正在逐一破解应用场景中的具体难题。同时,以可持续的商业模式推动技术快速普及与产业化。

未来,他们将继续致力于实现物理世界的 Scaling Law,通过扩大数据采集和应用的覆盖面,形成数据增长与技术进步之间的正向循环,以具身智能技术的发展促进更多传统行业的变革。

参考资料:

1.A. M. Turing. Computing machinery and intelligence. Computation & intelligence: collected readings. American Association for Artificial Intelligence,23–46.(1995).https://dl.acm.org/doi/10.5555/216000.216005

2.Driess, Danny, et al. Palm-e: An embodied multimodal language model. arXiv:2303.03378 (2023). https://doi.org/10.48550/arXiv.2303.03378

3. Hu, Yafei, et al. Toward general-purpose robots via foundation models: A survey and meta-analysis. arXiv:2312.08782(2023).https://doi.org/10.48550/arXiv.2312.08782

【国地中心江磊:WAIC“秀出”人形机器人的成本优化与智能突破 中国有望引领行业标准】“去年的‘十八金刚机器人阵列’更多是静态招手等基本功能,而今年,越来越多的人形机器人能进行动态展示,WAIC也成了人形机器人的技能大舞台。”在WAIC 2025现场,谈及观展后的感受,国家地方共建人形机器人创新中心首席科学家江磊向记者如是说道。(上证报)

【直击WAIC | 智元机器人王闯:出海一定会做,已确定具体目标】2025世界人工智能大会(WAIC 2025)于7月26-28日在上海举办,大会以“智能时代 同球共济”为主题,汇聚全球专家、政企代表等,共话AI发展新机会。谈及出海计划,智元机器人通用业务部总裁王闯表示,“智元目标是成长为一个全球化的公司,我们觉得具身智能不分国内和国外,所以出海一定会做的。”至于为什么今年想做出海?王闯解释道,“我们对产品的稳定性比较有信心,另外我们也有一些海外的比较友好的客户,看到智元的发展后,有些本地化的(工作)他们可以来做,我们提供标准的机器人,他们做一些比较本地化的事情,甚至还做一些增量的开发,适应本地化需求。”他透露,“我们今年出海还定了一定数量的目标。”(新浪科技)

【密集游说+施压阻止!英媒爆料:以色列曾威胁法国放弃承认巴勒斯坦国】法国总统马克龙日前宣布法国将于9月承认巴勒斯坦国。据路透社7月26日披露,法国这一决定历经数月努力作出,此举引发从中东到欧洲乃至华盛顿的外交动荡。报道援引法国官员的话称,以色列连月来一直在进行密集游说,试图施压阻止马克龙的决定。马克龙为何会做出上述决定?路透社分析称,马克龙4月访问与加沙接壤的一个埃及小镇时,被日益严重的人道主义危机所震动,并在回国后明确表示法国将很快选择承认巴勒斯坦国。在马克龙宣布将承认巴勒斯坦国后,以色列对此反应强烈。以色列总理内塔尼亚胡称法国此举是“对恐怖主义的鼓励”,多位以色列政要呼吁以政府立即采取反制措施。报道还援引消息人士的话称,以色列对法国的威胁涉及多个方面,从缩减情报共享到使巴黎的区域倡议复杂化,甚至暗示可能吞并约旦河西岸部分地区。不过对于这些威胁,法国官员认为,无论法国是否承认巴勒斯坦国,内塔尼亚胡都将采取任何他认为符合自身利益的行动。(环球网)

【国地中心江磊:WAIC“秀出”人形机器人的成本优化与智能突破 中国有望引领行业标准】“去年的‘十八金刚机器人阵列’更多是静态招手等基本功能,而今年,越来越多的人形机器人能进行动态展示,WAIC也成了人形机器人的技能大舞台。”在WAIC 2025现场,谈及观展后的感受,国家地方共建人形机器人创新中心首席科学家江磊向记者如是说道。(上证报)

【直击WAIC | 智元机器人王闯:出海一定会做,已确定具体目标】2025世界人工智能大会(WAIC 2025)于7月26-28日在上海举办,大会以“智能时代 同球共济”为主题,汇聚全球专家、政企代表等,共话AI发展新机会。谈及出海计划,智元机器人通用业务部总裁王闯表示,“智元目标是成长为一个全球化的公司,我们觉得具身智能不分国内和国外,所以出海一定会做的。”至于为什么今年想做出海?王闯解释道,“我们对产品的稳定性比较有信心,另外我们也有一些海外的比较友好的客户,看到智元的发展后,有些本地化的(工作)他们可以来做,我们提供标准的机器人,他们做一些比较本地化的事情,甚至还做一些增量的开发,适应本地化需求。”他透露,“我们今年出海还定了一定数量的目标。”(新浪科技)

请输入评论内容

举报成功

举报

请您选择举报的原因

说说你的看法

意见/建议 反馈入口
  • TOKEN
  • 标题/昵称
  • 反馈内容

已反馈成功~