MemT 1.0 记忆张量开源的业内首个记忆原生基座模型
MemT 1.0是什么
MemT 1.0 是记忆张量推出的业内首个记忆原生基座模型，已全面开源。MemT 1.0包含 Flash（288B参数/17B激活）和 Nano（36B参数/3B激活）两个版本。MemT 1.0将历史信息编码为可持续更新的内部记忆状态，使模型能在推理计算中直接读写记忆，无需依赖外部检索或重复注入文本。在11项记忆基准上位列参数化记忆方法前二，长历史场景下推理速度最高提升约4倍，存储占用降至1/66，为 Agent 长期陪伴与递归自我改进奠定架构基础。
MemT 1.0的主要功能
记忆原生存储 ：将历史信息编码为模型内部的持续记忆状态，无需查询时提供原始文本可调用历史经验。
逐 token 记忆更新 ：每轮交互结束后自动将新信息写入记忆，支持擦除、写入与遗忘的精细控制。
记忆容量扩展 ：通过 Mixture-of-Storage 混合存储机制，以多记忆专家实现容量的独立扩容。
长期经验复用 ：Agent 可复用过往的解题方法、失败模式与验证流程，SWE-bench 成功率提升约3个百分点。
跨会话记忆延续 ：记忆状态可序列化保存与恢复，绑定用户或任务轨迹，实现长期连续使用。
高效推理 ：长历史下端到端速度提升最高约4倍，持久化存储仅占完整上下文的1/66，且不随历史增长而扩大。
MemT 1.0的技术原理
记忆原生架构 ：在选定 Transformer 模块中并联插入原生记忆模块，使原注意力与记忆注意力并行运行：当前输入一路走原路径，另一路查询记忆状态读取历史，两路结果融合后进入后续计算，让交互的信息直接参与当前 token 的生成。
双层记忆结构 ：记忆由动态局部记忆与超记忆组成：前者保存压缩后的历史信息，各条交互轨迹独立维护、随会话更新；后者提供投影与门控参数，在训练后保持固定，两者共同支撑信息的存储与使用。
Gated DeltaNet-2 更新机制 ：采用带门控的 DeltaNet-2 在每轮交互结束后逐 token 更新记忆矩阵，通过擦除、写入、遗忘、输出四种门控分别控制旧关联调整、新信息注入、保留强度和记忆对回答的影响。
两阶段训练 ：通过 200 亿 token 持续预训练建立依赖记忆的语言建模能力，用 140 亿 token 后训练，以上下文—查询—回答格式进行 KL 蒸馏，教师可读完整上下文，学生仅凭记忆状态学习教师行为，且只优化记忆参数。
如何使用MemT 1.0
获取模型 ：从 GitHub或HuggingFace下载 MemT-1.0-Flash 或 MemT-1.0-Nano 的模型权重。
部署模型 ：在本地或服务器上加载模型，根据所选版本配置显存资源。
绑定记忆轨迹 ：为每个用户或任务创建独立的交互轨迹，分配专属的记忆状态槽位，保证不同用户间记忆严格隔离。
写入记忆 ：每轮对话结束后，模型通过 commit 操作自动将本轮输入与回答逐 token 写入动态记忆状态。
读取记忆 ：下一轮提问时，模型在前向计算中直接读取记忆状态生成回答。
跨会话延续 ：将记忆状态序列化保存到外部存储，下次会话恢复该状态可延续此前积累的经验。
MemT 1.0的核心优势
记忆性能领先 ：在11项记忆基准上平均得分50.6（Flash）/47.0（Nano），位列参数化记忆方法第一、第二，领先最强基线12.5分。
无需原文即可调用历史 ：查询时不用提供原始历史文本，模型直接从内部记忆状态读取信息，摆脱外挂式检索。
记忆可学习、可持续更新 ：通过训练让模型学会保留、更新和读取记忆，新经验逐 token 写入，无需微调整个模型。
长历史效率显著 ：256K token 历史下端到端推理速度提升约3.99倍，持久化存储仅为完整上下文的1/66，且不随历史增长而扩大。
通用能力基本无损 ：在无关记忆噪声下，指令遵循、代码生成、长文本理解等能力与原主干基本持平甚至略有提升。
跨会话经验延续 ：记忆状态可序列化保存与恢复，实现 Agent 越用越聪明、越用越便宜。
记忆主权归部署方 ：模型业务方拥有独特的记忆资产，让开源模型可进化为具备企业自主智能的强模型。
MemT 1.0的项目地址
GitHub仓库 ：https://github.com/MemTensor/MemT-1.0
HuggingFace模型库 ：https://huggingface.co/collections/MemTensor/memt-1
arXiv技术论文 ：https://arxiv.org/pdf/2610.26825
MemT 1.0的同类竞品对比
对比维度 | MemT 1.0 | MemOS
对比维度 | MemT 1.0 | MemOS |
|---|---|---|
技术路线 | 记忆原生：历史编码为可更新的内部参数化记忆状态 | 文本记忆：以明文形式存储在外部记忆库中 |
记忆读写方式 | 模型在前向计算中直接读写，无需检索 | 依赖检索增强（RAG）将相关文本注入上下文 |
查询依赖 | 无需提供原始历史文本即可回答 | 需要检索并提供历史原文或证据 |
记忆更新 | 逐 token 增量更新，无需微调 | 直接编辑外部存储的文本，灵活但靠工程实现 |
长历史表现 | 有保真度损失，弱于文本记忆（尤其长历史测试） | 整体仍占优势，重要细节保真度更高 |
推理效率 | 状态大小固定，256K 历史下提速约3.99倍、存储仅1/66 | 历史越长，注入上下文的成本线性增长 |
可学习性 | 模型可学习如何记住、更新、调用经验 | 记忆能力不进模型权重，模型本身不进化 |
定位关系 | 可视为互补：MemOS 明文记忆 + MemT 参数化记忆组成完整链路 | 二者结合被团队规划为 MemOS 3.0 方向 |
MemT 1.0的应用场景
长期陪伴型个人助理 ：跨会话记住用户偏好、习惯和过往对话，实现越用越懂你的连续陪伴体验。
编程 Agent 经验复用 ：将问题复现方法、失败模式和验证流程写入记忆，指导后续任务。
企业智能客服 ：客服 Agent 记住每位客户的历史沟通记录与服务进度，无需重复询问，且记忆资产沉淀在部署方而非模型厂商。
长周期项目协作 ：在跨天、跨周的项目中持续积累上下文，不再因上下文窗口耗尽而重开项目、从头再来。
科学研究与递归自我改进（RSI） ：AI 将每次试错的有效成果保留为记忆，作为下一轮自我优化与代码改进的基础。
