新浪科技 股票

数百万小时、500 亿参数,自然意志的 Scaling 信仰

市场资讯 10.13 20:55

(来源:晚点LatePost)

文丨郭海惟

Natura-1 是一个百万小时级 Ego-Centric(注:第一人称视频)数据预训练的具身模型。在此之前,全球范围内公开可查的百万小时级 Ego 数据预训练具身模型不超过三家。而自然意志,作为一家成立仅 9 个月的公司,大概是具身行业历史上达成这一目标用时最短的团队。

围绕 Natura-1,这个团队像 LLM Lab 一样工作。在访谈中,多位研究员告诉《晚点 LatePost》,他们将 Scaling 作为研究目标,重新设计了一套既借鉴又区别于主流技术路线的具身大脑的研究架构,重新搭建了包括硬件手套、数据管线的 infra 能力,甚至为此从头写了独立的训推框架。“我们的目标就是 make everything scalable”,自然意志表示。

就像职业拳击手在赛前要按照体重分组,在智能领域,数据往往暗含了很多标尺性的信息。比如,越大的数据规模,往往意味着更强的智能上限。

在自然意志发布的技术报告《行动的意志 The Will to Act 》中,Natura-1 在三个维度、十二项考核上全部大幅领先业内公开可测的标杆模型。

在公司发布的技术报告中,Natura-1 在一套自建真机评测中取得了 53.4% 的基础任务成功率;加入记忆、纠错等能力后,成功率提高至 59.1%。在同一套测试中,π0.5 和 GPT-6 Astra 没有在灵巧手配置下得到可计分结果;改用夹爪后,两者分别取得 13.5% 和 16.7% 的成功率。

如图,整个 benchmark 被分成了三个核心部分:灵巧操作、指令遵循和长程任务操作。在三项得分中,灵巧操作的领先幅度最高;即便在语言类模型天然占优的长程操作与指令遵循领域,Natura-1 也表现了不错的领先性。

由于现阶段行业缺乏公信力的第三方 benchmark,可供自然意志团队测评的顶尖模型有限,如 π0.7、Helix-02、Gen-1.5、Dyna-2 等模型均无法供公开市场直接调用。而目前测评的 π0.5 是去年的开源模型、最近引发热议的 GPT-6 Astra 本身并不是专门的机器模型,这组结果更适合用来说明 Natura-1 的特长,而不能直接理解为一次行业排名。

比跑分更难确认的是 “零样本”。所谓 “零样本泛化”,是指模型没有针对测试任务进行专门训练,也没有使用同一物体、场景和指令组合的数据做后训练,在测试时直接根据自然语言指令完成操作,就像你可以很快学会没有玩过的电子游戏,羽乒爱好者可以立刻学会匹克球。包括王兴兴在内的从业者就公开将零样本能力视作是具身 “真正的 GPT 时刻” 是否到来的指标,认为它代表了模型对世界真正的理解水平。

以 Natura-1 为例,团队想强调,零样本泛化能力是本次模型发布的重要特质。

在技术报告中,团队公布了六大灵巧操作的 Demo,动作涵盖了包馄饨、打包快递、泡茶、制作酸奶碗、手机贴膜和写毛笔字。六个 Demo 对应了柔性物品、细腻操作、工具协同、长程规划、精细装配、连续力调节等不同的模型能力要求。

自然意志的研发人员告诉我们,他们保证每一个 Demo 必须是连续的、原速的、一镜到底的连贯视频。但他们也清楚这并不足以完全打消市场疑虑,因此团队决定同时制作 29 分钟一镜到底的零样本泛化视频,希望借此最大化团队能力范围内的市场说服力。同时,团队表示未来通过各种形式让越来越多的人线下 “玩” 到 Natura-1,而不只是看某个 Demo。

VLA 和 WAM 以外的第三条路

但自然意志告诉我们,“跑分” 和 Demo 反而是 Natura-1 身上最不重要的东西。团队中的研发同学一直想要向我们传递的信息是,Natura-1 只是一个具备更大 Scaling 参数潜力模型的第一步,因此它还是一个处在它自身发展早期的模型,59% 的成功率依然有很大的提升空间。

自然意志创始人丁宁告诉我们,甚至在内部跑出 Natura-1 之前,他都不确定自己团队能否真的做成——尽管他们此前已经做了所能做的一切:“所有 ablation(注:指消融实验,用于验证模型架构是否成立的手段)都做了”,每一个模型都用测评改进,从头做了基础设施、数据管线的搭建,但即便有数据和实验支撑,还是 “会忍不住怀疑到底能不能搞出来”。直到最后一刻模型终于训出来了,团队才确定:

“哦,这样的模型确实是存在的。”

这是一个独特架构的模型,自然意志负责模型架构的同学告诉我们,它既借鉴又区别于今天具身大脑的两条主流技术路线 VLA(视觉-语言-动作模型)和 WAM(世界动作模型)。自然意志希望 Natura-1 可以成为上述两条路以外另一条寻找智能 Scaling 的路径。模型架构负责人对《晚点 LatePost》表示,至少可以从两个方面理解这种架构的差异。

首先,自然意志表示,Natura-1 这是一个没有 “主从性” 的模型。

所谓主从性是指模型内部不同模块的地位差别,WAM 的核心是视频生成、VLA 的核心是语言模型,主人模态负责最核心的推理,而其他模态更多是 “核心” 的下属。英伟达科学家 Jim Fan 就曾调侃 VLA 的本质是 LVA(language-vision-action)。而由于存在核心,那么 Scaling 就会变成一个以 “主人模型” 为侧重的数据增长游戏。

自然意志团队告诉我们,在他们看来 Natura-1 是第三条路。因为在这里,各个模态的地位是平等的,不需要谁去服从谁。Natura-1 的优势是,因为没有主人模型,“所以全部模态都可以按照最 Scaling 的方式组织在序列里”,自然意志模型架构负责人表示。

我们在做这款模型的时候 “没有什么可参考的东西”,以至于最开始的时候,团队自己也 “不知道模型会长成什么样子”。

其次,根据自然意志方面的说法,这是一个更接近于 “端到端” 的模型。

虽然过去 VLA 和 WAM 的探索者也在探讨端到端,但往往在实践中会选择 “大脑 + 小脑” 的分层架构,即把任务规划和运动控制分离。而由于 Natura-1 中所有模态都是平等的,它便可以同时建模连续的视频与动作、意图理解、记忆、小脑 " 运控、甚至一定的 agentic 能力。因此这让 Natura-1 比过去的 VLA 和 WAM 更接近 “端到端” 的概念,它可以在一个模型内同时解决运控。

比如自然意志将灵巧手动作一并放入了 Natura-1,而不是像目前行业上的一些玩家单独做一个基于灵巧手的小脑。

因为 “ action 是最重要的事情”,自然意志研究员告诉晚点,“ action 只要一改,是毁灭性的——基本相当于白训。”

在自然意志看来,灵巧手操作可以帮助具身大脑扩展人类经验与有目的动作之间的连接,而后者正是他们正在构建的通用具身智能的核心。因此,Natura-1 本身就是一个面向灵巧机器人手的基础模型。

“手的动作本质是多样的,即便是我们自己也很难描述灵巧手的动作种类,而且它的动作是纯经验的,超出了语言的范畴。” 自然意志模型架构负责人认为,只用语言描述精细操作,会损失手指接触、力度和连续运动中的部分信息,“这种智能在它的描述范围之外”。

Natura-1 是自然意志官方发布的第一个通用动作模型,也是正式面向灵巧手的模型。

团队一度考虑将这个名字命名为 “Model”——因为 “只有一个模型”。由于 Natura-1 被团队定义为是一个 VLA 和 WAM 以外的模型,自然意志一直在考虑一个新的名字。但团队最终还是放弃了那个离经叛道的名字,选择将它定义为 “物理世界通用基础模型”。

被称为 “强化学习之父” 的 Richard Sutton 在那篇著名的《苦涩的教训》(The Bitter Lesson)一文中给出过著名的结论:将人类领域内的知识塞进智能里,在短期总是有效的,但长期总会变成瓶颈。只有足够通用,才可以获得巨大的力量。Ilya Sutskever 则将此归因于一种对审美和品味,称好的 AI 应该是 “美、简单、优雅的(beauty, simplicity, elegance)”。而过去技术的历史也证明,往往越简单的架构,才能经受住足够大的数据冲刷。

由于自然意志没有公开自己的架构细节,我们无法找到合适的手段独立证实他们是否真的采用了足够符合 “技术美学”、更符合 Scaling 的架构设计。但根据 Natura-1 的技术报告,团队强调了他们在模型 Scaling 的潜力尚没有在这一版模型中被充分释放。

下图是 Natura-1 的 Scaling 验证数据曲线:

在图中有两条线,虚线是 Power-law-fit(幂律拟合)代表了模型 Scaling 正常发展时的预测值,而实线则是实际的测量值。两条线在四组验证指标中都咬合得很紧,代表模型 Scaling 的过程顺利,即便到了百万小时数据,也暂时没有遇到实质性的瓶颈。

自然意志模型架构负责人告诉我们,目前 Natura-1 的模型参数是 500 亿。但他认为即便是目前这一版模型也没有碰到 Scaling 的瓶颈,沿着目前的方向继续做,下一阶段 “保守” 预计会继续有一个指数级的迭代。而如果顺利的话,丁宁表示,这个模型大概会在明年发布。

Make Everything Scalable

多位自然意志的研究员告诉我们,对具身 Scaling 的信仰,几乎可以当做是这家公司的起点——因为他们绝大部分都是从不同领域的研究方向转到自然意志做具身大脑,有些在本科生阶段是做 AI for Science 的,有些过去是在 LLM 领域从事基模开发。而他们之所以愿意做具身,最核心的原因是看到了以 Ego 为代表的数据采集在快速解决行业数据短板的问题。

自然意志创始团队说他们大概在 1 月份的时候意识到 “数据 scalable 了”,而所谓 “ scalable ” 的意思是 “它能在世界上任何场景、任何动作都被采集”。而 “当这个东西变得 scalable 的时候,你很难相信通用模型它不存在”。

过去一年时间里,全球数据总量从数十万小时扩张到至少数百万小时。自然意志预估明年会到数千万级,未来模型可能会吃下上亿级小时的数据、耗费上万张卡去训练。而这就是自然意志这一代创业者的机会。

数据能力被自然意志视作更重要的竞争要素。

自然意志搭建了自研的数据管线。今天大家看到 Natura-1 是一个使用百万小时量级数据训练的模型,但这背后自然意志总共吞吐了数百万量级的数据。而且随着模型迭代和数据爆发,未来数据处理的规模还会上升。

“LLM 一般来说存不了那么大的数据”,“而且吞噬庞大视频数据是一个低效的行为”,自然意志团队表示,“过去可能只有做智驾的人会存储和处理这么大体积的数据”。

“数据是个头疼的问题”,模型架构负责人表示,“如果能买到好的供应商数据我们一定会买,但许多外部数据供应商基本达不到我们的要求”。虽然目前数据供应商不少、市面上数据采集的小时总量也在不断攀升,但真正合格的数据并不多。这让团队花了非常多的时间和精力在上面,“但客观上,目前这个行业能够产出的数据就跟不上我们的需求或者吞噬的速度。” 其中瓶颈之一在于供应商的数据处理能力。因为裸数据进来后是无法直接进入模型的,必须经过多道工序的处理。

“但处理数据耗费的资源非常夸张”,有研究员说,自然意志为 Natura-1 建立了一套由 20 多个算子组成的过滤管线,数据进来后,先用算子过滤,再为数据打标,其中需要不同的算力能力。“手部位姿的提取需要大量 GPU,解码和格式转换又需要大量 CPU,将操作联系起来又要求比较重的通信处理。”

“一些大厂做脏活累活没有我们多,他们会外包很多工作”,自然意志对晚点表示,“但有些时候模型的胜负就在脏活累活”。而像数据这种 “脏活累活” 正在构建自然意志作为一家具身大脑公司的竞争力。

自然意志招人的原则是:聪明、数学好、有 conviction(信念)且真正愿意扎下去写代码、洗数据、做脏活累活的人。相比之下,发过什么论文、有过什么具身大脑的开发经验,在这里都不是最重要的,在某些情况下甚至是 “负分” 的。

“大家来这里不是做一篇改变世界的论文,而是要做一个改变世界的模型”,丁宁说。

自然意志告诉晚点,他们大概是具身行业里为数不多从零构建训练与推理框架的团队。模型团队面向不同系列 GPU 深度定制了高性能 CUDA 算子,从而实现框架与底层算子的协同优化。自然意志几乎从 DAY 1 开始,花了大概一个多月的时间写了一版训练框架,然后再用数月的时间不断迭代。

训练框架被认为是 Scaling 非常重要的一环,它决定了计算效率,一旦出现问题很难挽回,因此很多团队会选择使用成熟的开源社区框架;但也同样因为如此,“如果想严肃认真地把 Scaling 这件事情做好”,也需要重新去设计。

“开源的 infra 必然要兼容不同的算法和模块,因此也必然是臃肿的”,模型框架负责人对晚点表示,即便是 LLM,顶尖团队也不会用开源。

以某明星国产 AI 大模型公司为例,每一代之间模型架构都可能有调整,那么 infra 组就会去搭,也不会用社区工具。“ Infra 的特点就是你就很难去依赖在别人的一些生态上面修修补补,它肯定是没有办法加速到极致的”,负责人对晚点表示。

而更重要的是,“ LLM 的训练框架虽然成熟,但它们都不是针对具身 Scaling 去设计优化的”,加之团队创新的模型架构,这让 LLM 模型的 infra 和自然意志想要的算法差异程度太大,“肯定要从头写自己的 infra”。

在 Natura-1 的技术报告里,自然意志是这样写的:“基础设施让经验可用;数据将其转化为信号;模型将信号转化为智能。这三者都无法单独扩展——但协同扩展时,它们会相互增强。”

这看起来是一种 LLM 时代的常识,但将常识转化为实践却总不是一件简单的事情。

今天没有人能完全说清楚,一个具身大脑究竟应该多大。但行业的共识是:它应该很大、而且比今天的 LLM 更大。Scaling 正在改变具身大脑的发展逻辑,越来越多的海内外公司在追求更大的模型和更高的智能。它派生出不同的数据打法、不同的模型技术、差异化的 infra 基础设施、吸引更多元背景的高阶人才,最后衍生出与过去气质不同的组织。

有研究员告诉晚点,在他看来自然意志就是一家不发论文的 Lab,组织扁平、务实、low ego,有时候研究员之间跟领导会 “没大没小”。有深度接触过自然意志的人告诉晚点,他觉得公司里的人 “都长很像”——有种 “精巧的青春少年” 的感觉。这次露出的官网、技术报告的视觉呈现方案,都是丁宁和研发人员自己画的。

就像 “The Will To Act ” 更像是一群年轻研发人的注脚,而站在更大的愿景里,百万小时的具身模型也只是一个起点。

题图来源:自然意志

加载中...