记忆张量团队发布并开源记忆原生模型 MemT-1.0

上海团队发布并开源记忆原生大模型MemT-1.0

AI 导读

来自上海的记忆张量团队发布并开源记忆原生模型 MemT-1.0 系列，包含 MemT-1.0-Flash 与 MemT-1.0-Nano，参数规模分别为 288B 与 36B。团队在选定的 Transformer 模块中加入原生记忆模块，使注意力与记忆注意力并行运行；历史信息和任务经验可在后续相关任务中调用，无需再次提供原始历史文本。

推荐理由

材料交代了 MemT-1.0 将可更新的内部记忆纳入模型计算，并说明两款开源模型的规模，呈现其记忆机制与模型配置。

正文

10月20日，来自上海的记忆张量团队正式发布并开源记忆原生模型MemT-1.0系列。与以往“每次对话都从零开始”的大模型不同，这一系列把可持续存在、能够更新的内部记忆纳入模型计算，让历史信息与任务经验在后续相关任务中被直接调用，无需再次提供原始历史文本。此次开源包含MemT-1.0-Flash与MemT-1.0-Nano两款模型，参数规模分别为288B与36B。研发团队在选定的Transformer模块中引入原生记忆模块，使原有注意力与记忆注意力并行运行，记忆由此成为模型前向传播的一部分。（上观新闻）