新浪科技 股票

面壁智能发布新一代 MiniCPM-V 4.7

市场资讯 10.13 17:22

(来源:网易智能)

10月13日消息,面壁智能正式发布新一代端侧多模态大模型 MiniCPM-V 4.7,包含35B-A3B 与1B 两个版本。其中35B-A3B 采用 MoE 架构,总参数350亿、每次推理仅激活30亿,是首个可在端侧无损流畅运行的开源 MoE 模型,仅约3GB 内存即可运行,解码速度达15+ token/s(iPad Pro 实测),真正做到即问即答、无需等待。发布当日即支持瑞芯微、NVIDIA、Intel 和 Apple 等国内外主流芯片平台,同时支持 iOS、安卓和鸿蒙系统,并提供开源端侧适配代码及主流推理框架。而1B 版本主打端侧极致效率,让旗舰级能力跑进更多端侧设备,也让端侧多模态从少数设备的探索,走向每个人的日常。

据介绍,这一突破的背后是面壁智能自研的 LES(前瞻专家调度)技术。MoE 模型的特点是模型内部有众多“专家”,而每次回答只调用其中几位,这意味着虽然能力更强,但同时给手机运存带来极大压力。而面壁智能LES技术可以做到提前预判、无缝衔接:系统会提前预测接下来要用到哪些专家,趁当前计算还在进行时就把它们提前加载好,让加载与计算同步推进。该技术目前为业界独家开源方案。

截至目前,由面壁智能联合 OpenBMB 开源社区发布的 MiniCPM 系列开源模型,全球累计下载量已突破6000万次,覆盖文本、视觉、语音全模态。(韩蕾)

加载中...