曦望王湛:AI的下一场仗是更便宜地交付智能
(来源:网易智能)
10月19日消息,近日曦望Sunrise联席CEO王湛在媒体访谈中给出了他对AI产业阶段的判断:“AI的下一场仗,不是比谁更聪明,是比谁更能稳定、便宜地交付智能。”
这一判断背后是Agent普及带来的算力需求变化。王湛认为,未来每个人可能拥有2至3个Agent,Agent总量有望超过人类。与普通问答不同,Agent需要反复规划、检索和调用工具,Token消耗大幅增加,“推理算力需求的增长才刚刚开始”。他观察到,客户此前的关注点是算力有多强、显存有多大,如今更关心业务能否跑得起、跑得稳、跑得便宜。
在王湛看来,推理需求主流化的信号已经出现在曦望的业务中:2024年,公司发现客户使用启望S2的场景绝大多数集中在推理侧,并判断推理算力规模将很快超越训练。2024年底,曦望将“All-in推理”写入公司战略,“在国产GPU公司中,我们是第一个吃螃蟹的”。
降本路径上,王湛用一道公式概括:单位Token成本=(硬件摊销分摊成本+算力运行成本+系统运维成本)÷Token产出量,解法是“降低分子,提高分母”。分子端,启望S3专注推理场景,精简训练相关模块,并采用LPDDR6替代传统HBM的存储路线;分母端,通过高速互联、分层存储及原生支持FP4低精度提升Token产出效率。据介绍,相比上一代S2,启望S3推理性能提升约5倍,单位Token推理成本下降约90%;系统层面,曦望还展示了256卡超节点,让256张GPU如一台超大GPU协同,以支持万亿参数量的多模态MoE模型。
“Token费用,和水费、电费一样,会列在每个人、每家企业的账单上,大家要开始为Token算账了。”王湛说,只有把单位Token成本打下来,大量智能应用才会在千行百业真正跑起来。他将曦望的定位概括为AI产业的“损益优化师”。(袁宁)