AGI Pulse
模型发布MemTensor · agipulse

记忆张量开源记忆原生模型 MemT-1.0:基于 DeepSeek-V4-Flash 和 Qwen3.6,把记忆放进模型计算、不必回传历史;官方承认文本记忆系统整体仍领先

阅读 0

发布日期
2026-10-20
类型
模型发布
相关机构
MemTensor
信息来源
agipulse

这件事意味着什么

【要点】

上海记忆张量(MemTensor,MemOS 团队)10 月 20 日公布并开源记忆原生模型 MemT-1.0 系列,MIT 许可,权重在 Hugging Face。

一、思路:在骨干模型的注意力旁边加一个「原生记忆块」,由动态的局部记忆和可训练的超记忆两部分组成。对话或片段结束时更新记忆状态,之后推理时直接读记忆,不必再提供原始历史文本。记忆状态大小固定,官方称在 128K 历史长度下,存储比完整上下文 KV 缓存少约 66 倍。

二、两款模型:MemT-1.0-Nano 基于 Qwen3.6-35B-A3B,总参数 36B、激活 3B,可训练记忆参数 451M;MemT-1.0-Flash 基于 DeepSeek-V4-Flash,总参数 288B、激活 17B,可训练记忆参数 3.61B,动态记忆状态 336M。

三、训练:两阶段训练,用了 34B token 数据。

四、效果(官方自测):在 11 个记忆基准上,Flash 和 Nano 在参与比较的「参数化记忆」方法中分列第一、第二。模型卡也写明,强的文本记忆系统整体仍然领先,尤其是需要从很长历史中找细节证据的任务。

五、另外演示了把检索到的经验存进原生记忆、用于长程编码智能体,称不增加上下文文本也能提升任务表现。技术报告 PDF 已随权重发布,arXiv 版本标注「即将发布」。

【可核验】

模型(Flash):https://huggingface.co/MemTensor/MemT-1.0-Flash

模型(Nano):https://huggingface.co/MemTensor/MemT-1.0-Nano

代码:https://github.com/MemTensor/MemT-1.0

【我们的判断】

一、这是把「记忆」从外挂的 RAG、向量库搬进模型计算本身的一次开源尝试,而且建在 DeepSeek-V4-Flash 和 Qwen3.6 这类现成开源骨干上,别人可以直接复现。

二、团队自己承认文本记忆系统整体仍更强,所以目前的意义在于存储成本低、不必回传历史,而不是记得更准。

三、所有成绩都是官方自测,还没有第三方复现;Flash 总参数 288B,自行部署门槛高。

原文 →

继续了解相关进展

本页由 AGI Pulse 聚合,仅保留标题与链接,不转载正文。 编辑政策