新浪科技

面壁智能发布新一代开源模型MiniCPM-V 4.7 可在端侧无损运行

上海证券报

关注

来源:上海证券报·中国证券网

上证报中国证券网讯(记者 窦世平)记者10月13日从面壁智能据悉,公司正式发布新一代端侧多模态大模型MiniCPM-V 4.7,包含35B-A3B与1B两个版本。其中35B-A3B采用MoE架构,总参数350亿、每次推理仅激活30亿。面壁智能方面介绍,这是首个可在端侧无损流畅运行的开源MoE模型,仅约3GB内存即可运行,解码速度达15+token/s。

发布当日即支持瑞芯微、NVIDIA、Intel和Apple等国内外主流芯片平台,同时,支持iOS、安卓和鸿蒙系统,并提供开源端侧适配代码及主流推理框架。1B版本主打端侧极致效率,让旗舰级能力跑进更多端侧设备。

据介绍,该突破的背后是面壁智能自研的LES(前瞻专家调度)技术,该技术可以做到提前预判、无缝衔接:系统会提前预测接下来要用到哪些专家,趁当前计算还在进行时就把他们提前加载好,让加载与计算同步推进。面壁智能相关人士透露,该技术目前为业界独家开源方案。

截至目前,由面壁智能联合OpenBMB开源社区发布的MiniCPM系列开源模型,全球累计下载量已突破6000万次,覆盖文本、视觉、语音全模态。

加载中...