MemT 1.0 운영 중

MemT 1.0은 메모리 텐서가 선보인 업계 최초의 메모리 네이티브 기반 모델로, 전체 소스가 공개되었습니다. MemT 1.0은 Flash(288B 파라미터/17B 활성화)와 Nano(36B 파라미터/3B 활성화)의 두 가지 버전으로 제공됩니다. MemT 1.0은 과거 정보를 지속적으로 업데이트할 수 있는 내부 메모리 상태로 인코딩하므로, 외부 검색이나 텍스트 반복 주입 없이도 모델이 추론 과정에서 메모리를 직접 읽고 쓸 수 있습니다. 11개 메모리 벤치마크에서 파라미터화 메모리 방식 중 상위 2위 안에 들었으며, 긴 기록을 처리하는 환경에서 추론 속도를 최대 약 4배 높이고 저장 공간 사용량을 1/66로 줄였습니다. 이는 Agent의 장기적 동반과 재귀적 자기 개선을 위한 아키텍처 기반을 마련합니다.

메모리 네이티브 저장: 과거 정보를 모델 내부의 지속적인 메모리 상태로 인코딩하여, 질의 시 원문을 제공하지 않아도 과거 경험을 활용할 수 있습니다.
토큰 단위 메모리 업데이트: 각 상호작용이 끝날 때마다 새 정보를 메모리에 자동으로 기록하며, 삭제, 기록, 망각을 세밀하게 제어할 수 있습니다.
메모리 용량 확장: Mixture-of-Storage 혼합 저장 메커니즘을 통해 여러 메모리 전문가로 용량을 독립적으로 확장합니다.
장기 경험 재사용: Agent가 과거의 문제 해결 방법, 실패 패턴, 검증 절차를 재사용할 수 있으며, SWE-bench 성공률이 약 3%포인트 향상됩니다.
세션 간 메모리 지속: 메모리 상태를 직렬화하여 저장하고 복원할 수 있으며, 사용자 또는 작업 궤적에 연결해 장기적으로 연속 사용할 수 있습니다.
효율적인 추론: 긴 기록에서 종단 간 속도가 최대 약 4배 향상되고, 영구 저장 공간은 전체 컨텍스트의 1/66만 차지하며 기록이 늘어나도 증가하지 않습니다.

WeChat에서 ‘开源’로 답장하여 AI 오픈소스 프로젝트 교류 그룹에 참여하세요.
메모리 네이티브 아키텍처: 선택한 Transformer 모듈에 네이티브 메모리 모듈을 병렬로 삽입하여 기존 어텐션과 메모리 어텐션이 병렬로 실행되도록 합니다. 현재 입력은 한 경로로 기존 경로를 통과하고, 다른 경로에서는 메모리 상태를 조회해 과거 정보를 읽습니다. 두 경로의 결과를 결합한 뒤 후속 계산으로 전달하여, 상호작용에서 얻은 정보가 현재 토큰 생성에 직접 참여하게 합니다.
이중 메모리 구조: 메모리는 동적 로컬 메모리와 초메모리로 구성됩니다. 전자는 압축된 과거 정보를 저장하며 각 상호작용 궤적을 독립적으로 관리하고 세션에 따라 업데이트합니다. 후자는 프로젝션 및 게이팅 파라미터를 제공하며 학습 후 고정됩니다. 두 메모리가 함께 정보의 저장과 활용을 뒷받침합니다.
Gated DeltaNet-2 업데이트 메커니즘: 게이트가 적용된 DeltaNet-2를 사용해 각 상호작용이 끝날 때마다 메모리 행렬을 토큰 단위로 업데이트합니다. 삭제, 기록, 망각, 출력의 네 가지 게이트를 통해 기존 연관관계 조정, 새 정보 주입, 보존 강도, 메모리가 답변에 미치는 영향을 각각 제어합니다.
2단계 학습: 200억 토큰의 지속 사전 학습으로 메모리에 의존하는 언어 모델링 능력을 구축하고, 140억 토큰의 후속 학습을 진행합니다. 컨텍스트-질의-답변 형식으로 KL 증류를 수행하며, 교사는 전체 컨텍스트를 읽을 수 있고 학생은 메모리 상태만으로 교사의 동작을 학습합니다. 이 과정에서는 메모리 파라미터만 최적화합니다.

모델 받기: GitHub 또는 HuggingFace에서 MemT-1.0-Flash 또는 MemT-1.0-Nano의 모델 가중치를 다운로드합니다.
모델 배포: 로컬 또는 서버에서 모델을 로드하고 선택한 버전에 따라 GPU 메모리 리소스를 구성합니다.
메모리 궤적 연결: 각 사용자 또는 작업에 독립적인 상호작용 궤적을 생성하고 전용 메모리 상태 슬롯을 할당하여 사용자 간 메모리를 엄격히 격리합니다.
메모리 기록: 각 대화가 끝날 때 모델이 commit 작업을 통해 이번 입력과 답변을 토큰 단위로 동적 메모리 상태에 자동 기록합니다.
메모리 읽기: 다음 질문이 들어오면 모델이 순전파 계산 중 메모리 상태를 직접 읽어 답변을 생성합니다.
세션 간 지속: 메모리 상태를 외부 저장소에 직렬화하여 저장하고, 다음 세션에서 해당 상태를 복원하면 이전에 축적된 경험을 이어갈 수 있습니다.

뛰어난 메모리 성능: 11개 메모리 벤치마크에서 평균 점수 50.6(Flash)/47.0(Nano)을 기록해 파라미터화 메모리 방식 중 각각 1위와 2위를 차지했으며, 가장 강력한 기준선보다 12.5점 앞섰습니다.
원문 없이도 과거 정보 활용: 질의 시 원본 기록을 제공할 필요 없이 모델이 내부 메모리 상태에서 직접 정보를 읽어 외부 검색에 대한 의존을 없앱니다.
학습 및 지속 업데이트 가능한 메모리: 학습을 통해 모델이 메모리를 보존, 업데이트, 읽는 방법을 익히며, 새 경험은 토큰 단위로 기록되므로 전체 모델을 미세 조정할 필요가 없습니다.
긴 기록에서 뛰어난 효율: 256K 토큰 기록에서 종단 간 추론 속도가 약 3.99배 향상되고, 영구 저장 공간은 전체 컨텍스트의 1/66에 불과하며 기록이 늘어나도 증가하지 않습니다.
범용 능력의 손실 최소화: 관련 없는 메모리 노이즈가 있는 환경에서도 지시 따르기, 코드 생성, 장문 이해 등의 능력이 원래 본체 모델과 대체로 동일하거나 오히려 약간 향상됩니다.
세션 간 경험 지속: 메모리 상태를 직렬화하여 저장하고 복원할 수 있어 Agent가 사용할수록 더 똑똑하고 저렴해집니다.
배포 주체가 보유하는 메모리 주권: 모델을 사용하는 기업이 고유한 메모리 자산을 보유하므로, 오픈소스 모델을 기업의 자율 지능을 갖춘 강력한 모델로 발전시킬 수 있습니다.

GitHub 저장소: https://github.com/MemTensor/MemT-1.0
HuggingFace 모델 컬렉션: https://huggingface.co/collections/MemTensor/memt-1
arXiv 기술 논문: https://arxiv.org/pdf/2610.26825

장기 동반형 개인 비서: 세션을 넘나들며 사용자의 선호, 습관, 과거 대화를 기억하여 사용할수록 사용자를 더 잘 이해하는 연속적인 동반 경험을 제공합니다.
프로그래밍 Agent의 경험 재사용: 문제 재현 방법, 실패 패턴, 검증 절차를 메모리에 기록하여 후속 작업을 안내합니다.
기업 지능형 고객 서비스: 고객 서비스 Agent가 각 고객의 과거 소통 기록과 서비스 진행 상황을 기억하므로 반복해서 질문할 필요가 없으며, 메모리 자산도 모델 공급업체가 아닌 배포 주체에 축적됩니다.
장기 프로젝트 협업: 수일 또는 수주에 걸친 프로젝트에서 컨텍스트를 지속적으로 축적하여 컨텍스트 창이 소진될 때 프로젝트를 다시 시작하고 처음부터 진행해야 하는 문제를 없앱니다.
과학 연구 및 재귀적 자기 개선(RSI): AI가 각 시행착오에서 얻은 유효한 성과를 메모리로 보존하고, 이를 다음 자기 최적화 및 코드 개선의 기반으로 활용합니다.