中国团队实现大模型记忆架构创新,记忆张量MemT 1.0发布并开源
(来源:澎湃新闻)
10月20日,澎湃新闻记者获悉,由中国团队记忆张量研发的记忆原生模型MemT 1.0系列正式发布并开源。该系列将可持续存在、能够更新的内部记忆纳入模型计算,使历史信息与任务经验能够在后续相关任务中被直接调用,无需再次提供原始历史文本。
据介绍,MemT 1.0包含Flash与Nano两款模型,参数规模分别为288B与36B。研发团队在选定的Transformer模块中引入原生记忆模块,使原有注意力与记忆注意力并行运行,记忆成为模型前向传播的一部分。
在11项记忆基准上,MemT-1.0-Flash与Nano平均得分分别为50.6与47.0,位列参数化记忆方法第一、第二。
目前,MemT 1.0已通过Hugging Face等平台开源,开发者可免费获取模型权重。研发团队表示,下一步将持续提升长期记忆、扩展记忆容量、降低记忆更新成本,进一步探索自主获取经验与跨任务持续整合记忆。(澎湃新闻记者 秦盛)