新浪财经 美股

新云厂商Prime Intellect收购初创公司,提速模型推理

环球市场播报

关注

新一代云厂商以及各类推理服务商,面向应用开发者提供开源模型运行服务,正在竞争白热化的市场中寻求差异化优势。

举例来说,Prime Intellect 就是这类新云厂商。该公司在 7 月的一轮股权融资中投后估值达 10 亿美元。如今它收购了一家初创企业,目标是让开源模型能够在自家英伟达服务器上,相比竞争对手跑得更快、成本更低。

Prime Intellect 总部位于旧金山。据公司联合创始人兼首席执行官文森特・魏瑟介绍,公司收购了初创公司 Moondream,这家企业规模很小,员工不足十人。(魏瑟并未披露本次交易具体条款;Moondream 此前累计融资 450 万美元。)

Moondream 总部同时设在旧金山与西雅图,最广为人知的成果是一款开源多模态图文大模型,可用于解析理解图像内容,例如识别仓库图片中的货箱、直播画面里的广告。但魏瑟表示,Prime Intellect 收购这家公司,主要看重的是其团队编写高效模型运行软件的技术能力。

魏瑟称,Moondream 团队精通巨内核(megakernel)技术:该技术将 GPU 上大量分散的数学运算合并为一套连续运算,以此加速 AI 推理,减少 GPU 在任务间隙的空闲等待时间。

Moondream 自研了一款专用编译器,能够为大量模型自动生成巨内核。魏瑟表示,这款编译器,以及 Moondream 用于模型高速推理的专有技术 Photon,都将整合进 Prime Intellect 的技术体系。

巨内核并非新概念,Together AI 等其他推理服务商也对外公布过相关技术成果。但工程师表示,过去编写巨内核基本依靠人工开发;而 Moondream 称自家编译器可以实现大部分自动化生成。

魏瑟还谈到,当下行业绝大多数资源都投入文本大模型,Moondream 在图像等非文本模态模型优化方面积累的经验就显得尤为稀缺。Prime Intellect 希望吸纳这批人才,更好服务机器人、智能体等 AI 客户。

目前其他新云厂商、推理服务商对这类客户的支持并不完善,这有望成为 Prime Intellect 新的收入来源。该公司 7 月曾披露,年化营收突破 1 亿美元,折算当时月营收略高于 800 万美元。和同行相比,这个体量偏小:例如 Fal 年化营收超 8 亿美元,Together AI 年化营收超过 10 亿美元。

魏瑟介绍,除了为开发者提供模型运行环境、AI 训练与推理算力之外,Prime Intellect 还提供配套软件,帮助开发者根据用户反馈对模型做调优,也就是后训练与强化学习。公司也自研模型以及 AI 软件,例如代码智能体、AI 科研智能体。

上周 OpenAI 营收数据风波过后,外界会怀疑这类年化营收数字的可信度;消息确认 Prime Intellect 披露的数据属实。不过正如我们多次报道,绝大多数推理服务商都要把很大一部分营收分给持有、运营服务器的公有云厂商。而 Prime Intellect 情况不同,它自有硬件设备。

AI 深度访谈:Goodfire 的汤姆・麦格拉思称,AI 将实现可解释性研究自动化

AI 如今已经能够批量求解大量公开数学难题。但还有一个研究领域可能会更快被 AI 改写 ——机制可解释性,该方向致力于搞懂 AI 模型内部的决策逻辑。专精该赛道的初创企业 Goodfire AI 首席科学家汤姆・麦格拉思提出上述观点。

“在所有科学领域中,可解释性理应是被 AI 变革最彻底,或是最先被 AI 颠覆的领域。” 麦格拉思在访谈中表示。

纯数学的研究大多落在纸面上;而可解释性更接近生物学这类自然科学,需要大量做实验、采集数据,以此提炼新理论。麦格拉思认为,AI 科研智能体完全可以自主完成其中大量实验。

“我们可以组建一支规模远超现有机制可解释性领域研究人员的‘研究大军’,投入到模型研究当中。真正会颠覆可解释性研究的,是部署大规模智能体集群,产出数量级倍增的实验数据,再依托这些实验数据,深化我们底层的科学认知。”

加载中...