MemT 1.0 运营中

MemT 1.0 是记忆张量推出的业内首个记忆原生基座模型，已全面开源。MemT 1.0包含 Flash（288B参数/17B激活）和 Nano（36B参数/3B激活）两个版本。MemT 1.0将历史信息编码为可持续更新的内部记忆状态，使模型能在推理计算中直接读写记忆，无需依赖外部检索或重复注入文本。在11项记忆基准上位列参数化记忆方法前二，长历史场景下推理速度最高提升约4倍，存储占用降至1/66，为 Agent 长期陪伴与递归自我改进奠定架构基础。

记忆原生存储：将历史信息编码为模型内部的持续记忆状态，无需查询时提供原始文本可调用历史经验。
逐 token 记忆更新：每轮交互结束后自动将新信息写入记忆，支持擦除、写入与遗忘的精细控制。
记忆容量扩展：通过 Mixture-of-Storage 混合存储机制，以多记忆专家实现容量的独立扩容。
长期经验复用：Agent 可复用过往的解题方法、失败模式与验证流程，SWE-bench 成功率提升约3个百分点。
跨会话记忆延续：记忆状态可序列化保存与恢复，绑定用户或任务轨迹，实现长期连续使用。
高效推理：长历史下端到端速度提升最高约4倍，持久化存储仅占完整上下文的1/66，且不随历史增长而扩大。

微信关注回复“开源”，加入AI开源项目交流群
记忆原生架构：在选定 Transformer 模块中并联插入原生记忆模块，使原注意力与记忆注意力并行运行：当前输入一路走原路径，另一路查询记忆状态读取历史，两路结果融合后进入后续计算，让交互的信息直接参与当前 token 的生成。
双层记忆结构：记忆由动态局部记忆与超记忆组成：前者保存压缩后的历史信息，各条交互轨迹独立维护、随会话更新；后者提供投影与门控参数，在训练后保持固定，两者共同支撑信息的存储与使用。
Gated DeltaNet-2 更新机制：采用带门控的 DeltaNet-2 在每轮交互结束后逐 token 更新记忆矩阵，通过擦除、写入、遗忘、输出四种门控分别控制旧关联调整、新信息注入、保留强度和记忆对回答的影响。
两阶段训练：通过 200 亿 token 持续预训练建立依赖记忆的语言建模能力，用 140 亿 token 后训练，以上下文—查询—回答格式进行 KL 蒸馏，教师可读完整上下文，学生仅凭记忆状态学习教师行为，且只优化记忆参数。

获取模型：从 GitHub或HuggingFace下载 MemT-1.0-Flash 或 MemT-1.0-Nano 的模型权重。
部署模型：在本地或服务器上加载模型，根据所选版本配置显存资源。
绑定记忆轨迹：为每个用户或任务创建独立的交互轨迹，分配专属的记忆状态槽位，保证不同用户间记忆严格隔离。
写入记忆：每轮对话结束后，模型通过 commit 操作自动将本轮输入与回答逐 token 写入动态记忆状态。
读取记忆：下一轮提问时，模型在前向计算中直接读取记忆状态生成回答。
跨会话延续：将记忆状态序列化保存到外部存储，下次会话恢复该状态可延续此前积累的经验。

记忆性能领先：在11项记忆基准上平均得分50.6（Flash）/47.0（Nano），位列参数化记忆方法第一、第二，领先最强基线12.5分。
无需原文即可调用历史：查询时不用提供原始历史文本，模型直接从内部记忆状态读取信息，摆脱外挂式检索。
记忆可学习、可持续更新：通过训练让模型学会保留、更新和读取记忆，新经验逐 token 写入，无需微调整个模型。
长历史效率显著：256K token 历史下端到端推理速度提升约3.99倍，持久化存储仅为完整上下文的1/66，且不随历史增长而扩大。
通用能力基本无损：在无关记忆噪声下，指令遵循、代码生成、长文本理解等能力与原主干基本持平甚至略有提升。
跨会话经验延续：记忆状态可序列化保存与恢复，实现 Agent 越用越聪明、越用越便宜。
记忆主权归部署方：模型业务方拥有独特的记忆资产，让开源模型可进化为具备企业自主智能的强模型。

GitHub仓库：https://github.com/MemTensor/MemT-1.0
HuggingFace模型库：https://huggingface.co/collections/MemTensor/memt-1
arXiv技术论文：https://arxiv.org/pdf/2610.26825

长期陪伴型个人助理：跨会话记住用户偏好、习惯和过往对话，实现越用越懂你的连续陪伴体验。
编程 Agent 经验复用：将问题复现方法、失败模式和验证流程写入记忆，指导后续任务。
企业智能客服：客服 Agent 记住每位客户的历史沟通记录与服务进度，无需重复询问，且记忆资产沉淀在部署方而非模型厂商。
长周期项目协作：在跨天、跨周的项目中持续积累上下文，不再因上下文窗口耗尽而重开项目、从头再来。
科学研究与递归自我改进（RSI）：AI 将每次试错的有效成果保留为记忆，作为下一轮自我优化与代码改进的基础。