概览
MemT-1.0 是上海公司记忆张量（MemTensor）在 2026 年 10 月 20 日开源的「记忆原生」大模型，配套技术报告《MemT-1.0: Towards Memory-Native Evolution》（arXiv 2610.26825）。常见的长期记忆做法要么把历史对话全塞进上下文（KV 缓存越来越大），要么外挂检索库存明文记忆；MemT 的思路是在模型内部加一块会随交互不断更新的记忆：每个注意力层旁边并联一个原生记忆模块，用一个固定大小的动态记忆矩阵加上可训练的超记忆参数来保存过往信息，推理时不必重新读取原始上下文。官方给出两档：Flash 基于 DeepSeek-V4-Flash，总参数 288B、每 token 激活 17B；Nano 基于 Qwen3.6-35B-A3B，总参数 36B、激活 3B。训练分两阶段、用了 340 亿 tokens 数据。官方称 128K 历史长度时记忆状态比完整 KV 缓存小约 66 倍，11 个记忆基准上在参数化记忆方法里排第一、第二，但也写明在需要精确回查细节的长历史任务上，强的明文记忆系统整体仍更好。成绩均为官方说法。许可要注意分开看：Flash 权重 MIT、Nano 权重 Apache 2.0，GitHub 仓库里的推理代码是 PolyForm Noncommercial 1.0.0（非商用）。官方来源：https://memt.memtensor.cn/ 、https://huggingface.co/MemTensor/MemT-1.0-Flash 、https://huggingface.co/MemTensor/MemT-1.0-Nano 、https://github.com/MemTensor/MemT-1.0 （2026-10-23 核对）。 定价：开源权重，可免费下载自托管（Flash MIT、Nano Apache 2.0；推理代码仅限非商用）；官方暂未提供托管 API 价格。
- 模态
- 文本
- 参数量
- Flash 288B（激活 17B）/ Nano 36B（激活 3B），MoE
- 许可说明
- 开源 · 权重：Flash MIT、Nano Apache 2.0；GitHub 推理代码 PolyForm Noncommercial 1.0.0
能力
- 记忆原生架构：在底座注意力旁并联原生记忆模块（局部记忆块 + 可训练的超记忆），推理时不回看原始上下文也能用上历史信息
- 两档权重：MemT-1.0-Flash 以 DeepSeek-V4-Flash 为底座（288B / 激活 17B，可训练记忆参数 3.61B）；MemT-1.0-Nano 以 Qwen3.6-35B-A3B 为底座（36B / 激活 3B，451M）
- 省存储：持久记忆状态大小固定，128K 历史长度下比完整 KV 缓存小约 66 倍（官方数据）
- 记忆评测：11 个记忆基准上，Flash 和 Nano 在参数化记忆方法中分列第一、第二；官方也承认在需要细节证据检索的长历史上，强的文本记忆系统整体仍领先
- 智能体编程：把过往任务经验存进原生记忆、通过记忆注意力调用，不增加任务上下文文本
- 部署：Hugging Face Transformers（trust_remote_code）与 SGLang；Mixture-of-Storage 扩展记忆容量