MemT 1.0 運営中

MemT 1.0は、記憶テンソルが開発した業界初のメモリネイティブ基盤モデルで、完全オープンソース化されています。MemT 1.0には、Flash（パラメータ数288B／アクティブパラメータ17B）とNano（パラメータ数36B／アクティブパラメータ3B）の2つのバージョンがあります。MemT 1.0は、過去の情報を継続的に更新可能な内部メモリ状態としてエンコードし、モデルが推論計算中にメモリを直接読み書きできるようにします。外部検索やテキストの繰り返し注入に依存する必要はありません。11のメモリベンチマークでパラメトリックメモリ手法の上位2位に入り、長期履歴のシナリオでは推論速度が最大約4倍向上し、ストレージ使用量を1/66まで削減します。Agentの長期的な継続利用と再帰的な自己改善のためのアーキテクチャ基盤を築きます。

メモリネイティブストレージ：過去の情報をモデル内部の持続的なメモリ状態としてエンコードし、クエリ時に元のテキストを提示しなくても過去の経験を利用できます。
トークン単位のメモリ更新：各インタラクションの終了後、新しい情報を自動的にメモリへ書き込み、消去・書き込み・忘却を細かく制御できます。
メモリ容量の拡張：Mixture-of-Storageによる混合ストレージ機構を通じて、複数のメモリエキスパートにより容量を独立して拡張できます。
長期経験の再利用：Agentは過去の問題解決方法、失敗パターン、検証プロセスを再利用でき、SWE-benchの成功率が約3ポイント向上します。
セッション間のメモリ継続：メモリ状態をシリアライズして保存・復元でき、ユーザーまたはタスクの軌跡に紐付けることで、長期的に継続利用できます。
高効率な推論：長期履歴におけるエンドツーエンド速度が最大約4倍向上し、永続ストレージの使用量は完全なコンテキストの1/66にとどまり、履歴の増加に伴って拡大しません。

WeChatでフォローして「開源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます。
メモリネイティブアーキテクチャ：選択したTransformerモジュールにネイティブメモリモジュールを並列に組み込み、通常のアテンションとメモリアテンションを並行して動作させます。現在の入力は一方の通常経路を進み、もう一方ではメモリ状態を検索して過去の情報を読み取り、2つの結果を融合して後続の計算へ渡します。これにより、インタラクションで得た情報が現在のトークン生成に直接参加します。
二層メモリ構造：メモリは動的ローカルメモリとハイパーメモリで構成されます。前者は圧縮された過去の情報を保存し、各インタラクションの軌跡を独立して管理しながらセッションに応じて更新します。後者は射影パラメータとゲートパラメータを提供し、学習後は固定されます。両者が情報の保存と利用を支えます。
Gated DeltaNet-2更新機構：ゲート付きDeltaNet-2を採用し、各インタラクションの終了後にメモリ行列をトークン単位で更新します。消去・書き込み・忘却・出力の4種類のゲートにより、既存の関連付けの調整、新情報の注入、保持強度、回答に対するメモリの影響をそれぞれ制御します。
2段階学習：200億トークンの継続事前学習によってメモリに依存する言語モデリング能力を確立し、140億トークンの事後学習では、コンテキスト・クエリ・回答形式でKL蒸留を行います。教師モデルは完全なコンテキストを読み取れる一方、学生モデルはメモリ状態だけを用いて教師の挙動を学習し、メモリパラメータのみを最適化します。

モデルの取得：GitHubまたはHuggingFaceから、MemT-1.0-FlashまたはMemT-1.0-Nanoのモデルウェイトをダウンロードします。
モデルのデプロイ：ローカルまたはサーバー上でモデルを読み込み、選択したバージョンに応じてGPUメモリなどのリソースを設定します。
メモリ軌跡の紐付け：ユーザーまたはタスクごとに独立したインタラクション軌跡を作成し、専用のメモリ状態スロットを割り当てます。これにより、ユーザー間のメモリを厳密に分離します。
メモリへの書き込み：各対話の終了後、モデルはcommit操作によって、そのラウンドの入力と回答を動的メモリ状態へトークン単位で自動的に書き込みます。
メモリの読み取り：次の質問では、モデルが前向き計算中にメモリ状態を直接読み取り、回答を生成します。
セッション間の継続：メモリ状態を外部ストレージにシリアライズして保存し、次回のセッションで復元することで、これまでに蓄積した経験を引き継げます。

メモリ性能でリード：11のメモリベンチマークにおける平均スコアは50.6（Flash）／47.0（Nano）で、パラメトリックメモリ手法の第1位・第2位となり、最強のベースラインを12.5ポイント上回ります。
原文なしで過去の情報を利用：クエリ時に元の履歴テキストを提示する必要がなく、モデルが内部のメモリ状態から直接情報を読み取るため、外付け検索から脱却できます。
学習可能で継続的に更新できるメモリ：学習によってモデルがメモリの保持・更新・読み取りを習得し、新しい経験をトークン単位で書き込めます。モデル全体を微調整する必要はありません。
長期履歴で高い効率：256Kトークンの履歴ではエンドツーエンド推論速度が約3.99倍向上し、永続ストレージの使用量は完全なコンテキストの1/66にとどまり、履歴の増加に伴って拡大しません。
汎用能力への影響がほぼない：無関係なメモリノイズがある場合でも、指示追従、コード生成、長文理解などの能力は元のバックボーンとほぼ同等で、一部ではわずかに向上します。
セッション間で経験を継続：メモリ状態をシリアライズして保存・復元できるため、Agentは使うほど賢く、使うほど低コストになります。
メモリの主権をデプロイ側が保持：モデルを利用する事業者が独自のメモリ資産を保有でき、オープンソースモデルを企業独自の知能を備えた強力なモデルへ進化させられます。

GitHubリポジトリ：https://github.com/MemTensor/MemT-1.0
HuggingFaceモデルリポジトリ：https://huggingface.co/collections/MemTensor/memt-1
arXiv技術論文：https://arxiv.org/pdf/2610.26825

長期伴走型パーソナルアシスタント：セッションをまたいでユーザーの好み、習慣、過去の対話を記憶し、使うほどユーザーを理解する継続的な伴走体験を実現します。
プログラミングAgentによる経験の再利用：問題の再現方法、失敗パターン、検証プロセスをメモリに書き込み、後続タスクを支援します。
企業向けインテリジェントカスタマーサービス：カスタマーサービスAgentが顧客ごとの過去のコミュニケーション記録と対応状況を記憶するため、同じ質問を繰り返す必要がありません。メモリ資産もモデルベンダーではなくデプロイ側に蓄積されます。
長期プロジェクトの協働：数日から数週間にわたるプロジェクトでコンテキストを継続的に蓄積し、コンテキストウィンドウの上限によってプロジェクトを再開したり、最初からやり直したりする必要がなくなります。
科学研究と再帰的自己改善（RSI）：AIが試行錯誤のたびに得られた有効な成果をメモリとして保持し、次の自己最適化とコード改善の基盤として活用します。