MemT 1.0 Đang hoạt động

MemT 1.0 là mô hình nền tảng nguyên bản về bộ nhớ đầu tiên trong ngành do MemTensor phát triển và đã được mã nguồn mở hoàn toàn. MemT 1.0 gồm hai phiên bản: Flash (288B tham số/17B tham số kích hoạt) và Nano (36B tham số/3B tham số kích hoạt). MemT 1.0 mã hóa thông tin lịch sử thành trạng thái bộ nhớ nội tại có thể liên tục cập nhật, cho phép mô hình trực tiếp đọc và ghi bộ nhớ trong quá trình suy luận mà không cần phụ thuộc vào truy xuất bên ngoài hoặc lặp lại việc chèn văn bản. Trên 11 bộ benchmark về bộ nhớ, MemT 1.0 nằm trong top hai phương pháp bộ nhớ tham số hóa; trong các tình huống có lịch sử dài, tốc độ suy luận tăng tối đa khoảng 4 lần và mức sử dụng lưu trữ giảm xuống còn 1/66, đặt nền tảng kiến trúc cho khả năng đồng hành lâu dài và tự cải tiến đệ quy của Agent.

Lưu trữ nguyên bản về bộ nhớ: Mã hóa thông tin lịch sử thành trạng thái bộ nhớ liên tục bên trong mô hình, cho phép gọi lại kinh nghiệm lịch sử mà không cần cung cấp văn bản gốc khi truy vấn.
Cập nhật bộ nhớ theo từng token: Sau mỗi lượt tương tác, thông tin mới được tự động ghi vào bộ nhớ, hỗ trợ kiểm soát chi tiết việc xóa, ghi và quên.
Mở rộng dung lượng bộ nhớ: Thông qua cơ chế lưu trữ kết hợp Mixture-of-Storage, dung lượng có thể được mở rộng độc lập bằng nhiều chuyên gia bộ nhớ.
Tái sử dụng kinh nghiệm dài hạn: Agent có thể tái sử dụng phương pháp giải quyết, mô hình thất bại và quy trình xác minh trước đây, giúp tỷ lệ thành công trên SWE-bench tăng khoảng 3 điểm phần trăm.
Duy trì bộ nhớ liên phiên: Trạng thái bộ nhớ có thể được tuần tự hóa để lưu và khôi phục, gắn với người dùng hoặc quỹ đạo tác vụ nhằm hỗ trợ sử dụng liên tục trong thời gian dài.
Suy luận hiệu quả: Với lịch sử dài, tốc độ đầu-cuối tăng tối đa khoảng 4 lần; bộ nhớ lưu trữ bền vững chỉ bằng 1/66 ngữ cảnh đầy đủ và không tăng theo độ dài lịch sử.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc nguyên bản về bộ nhớ: Các mô-đun bộ nhớ nguyên bản được chèn song song vào những mô-đun Transformer được chọn, để attention gốc và attention bộ nhớ hoạt động song song: đầu vào hiện tại đi qua một nhánh theo đường dẫn gốc, nhánh còn lại truy vấn trạng thái bộ nhớ để đọc lịch sử; kết quả của hai nhánh được hợp nhất trước khi tiếp tục tính toán, giúp thông tin tương tác trực tiếp tham gia vào việc tạo token hiện tại.
Cấu trúc bộ nhớ hai tầng: Bộ nhớ gồm bộ nhớ cục bộ động và siêu bộ nhớ. Bộ nhớ cục bộ động lưu thông tin lịch sử đã nén, mỗi quỹ đạo tương tác được duy trì độc lập và cập nhật theo phiên; siêu bộ nhớ cung cấp các tham số chiếu và cổng, được giữ cố định sau khi huấn luyện. Hai thành phần cùng hỗ trợ việc lưu trữ và sử dụng thông tin.
Cơ chế cập nhật Gated DeltaNet-2: Sử dụng DeltaNet-2 có cổng để cập nhật ma trận bộ nhớ theo từng token sau mỗi lượt tương tác. Bốn cổng xóa, ghi, quên và đầu ra lần lượt kiểm soát việc điều chỉnh liên kết cũ, đưa thông tin mới vào, mức độ duy trì và ảnh hưởng của bộ nhớ đến câu trả lời.
Huấn luyện hai giai đoạn: Thông qua 20 tỷ token tiền huấn luyện liên tục để xây dựng năng lực mô hình hóa ngôn ngữ phụ thuộc vào bộ nhớ, sau đó hậu huấn luyện với 14 tỷ token theo định dạng ngữ cảnh—truy vấn—trả lời bằng phương pháp chưng cất KL. Giáo viên có thể đọc toàn bộ ngữ cảnh, còn học sinh chỉ dựa vào trạng thái bộ nhớ để học hành vi của giáo viên; chỉ các tham số bộ nhớ được tối ưu.

Lấy mô hình: Tải trọng số mô hình MemT-1.0-Flash hoặc MemT-1.0-Nano từ GitHub hoặc HuggingFace.
Triển khai mô hình: Nạp mô hình trên máy cục bộ hoặc máy chủ, đồng thời cấu hình tài nguyên VRAM theo phiên bản đã chọn.
Gắn quỹ đạo bộ nhớ: Tạo quỹ đạo tương tác riêng cho từng người dùng hoặc tác vụ, phân bổ vùng trạng thái bộ nhớ chuyên dụng để bảo đảm bộ nhớ giữa các người dùng được cách ly nghiêm ngặt.
Ghi vào bộ nhớ: Sau mỗi lượt hội thoại, mô hình tự động ghi đầu vào và câu trả lời của lượt đó vào trạng thái bộ nhớ động theo từng token thông qua thao tác commit.
Đọc bộ nhớ: Khi đặt câu hỏi ở lượt tiếp theo, mô hình trực tiếp đọc trạng thái bộ nhớ trong quá trình tính toán tiến để tạo câu trả lời.
Duy trì qua các phiên: Tuần tự hóa trạng thái bộ nhớ và lưu vào bộ nhớ ngoài; khôi phục trạng thái này trong phiên tiếp theo để tiếp tục sử dụng kinh nghiệm đã tích lũy.

Hiệu năng bộ nhớ dẫn đầu: Trên 11 bộ benchmark về bộ nhớ, điểm trung bình đạt 50.6 (Flash)/47.0 (Nano), lần lượt đứng thứ nhất và thứ hai trong các phương pháp bộ nhớ tham số hóa, dẫn trước baseline mạnh nhất 12.5 điểm.
Gọi lại lịch sử mà không cần văn bản gốc: Khi truy vấn, không cần cung cấp văn bản lịch sử ban đầu; mô hình đọc thông tin trực tiếp từ trạng thái bộ nhớ nội tại, không còn phụ thuộc vào cơ chế truy xuất bên ngoài.
Bộ nhớ có thể học và liên tục cập nhật: Thông qua huấn luyện, mô hình học cách lưu giữ, cập nhật và đọc bộ nhớ; kinh nghiệm mới được ghi theo từng token mà không cần tinh chỉnh toàn bộ mô hình.
Hiệu quả vượt trội với lịch sử dài: Với lịch sử 256K token, tốc độ suy luận đầu-cuối tăng khoảng 3.99 lần; bộ nhớ lưu trữ bền vững chỉ bằng 1/66 ngữ cảnh đầy đủ và không tăng theo độ dài lịch sử.
Năng lực tổng quát hầu như không suy giảm: Khi có nhiễu bộ nhớ không liên quan, khả năng tuân thủ chỉ dẫn, tạo mã và hiểu văn bản dài về cơ bản tương đương, thậm chí nhỉnh hơn đôi chút so với mô hình nền tảng gốc.
Duy trì kinh nghiệm qua các phiên: Trạng thái bộ nhớ có thể được tuần tự hóa và khôi phục, giúp Agent càng sử dụng càng thông minh và tiết kiệm chi phí.
Chủ quyền bộ nhớ thuộc về bên triển khai: Đơn vị vận hành mô hình sở hữu tài sản bộ nhớ độc đáo, giúp mô hình mã nguồn mở tiến hóa thành mô hình mạnh có trí tuệ tự chủ của doanh nghiệp.

Kho GitHub: https://github.com/MemTensor/MemT-1.0
Kho mô hình HuggingFace: https://huggingface.co/collections/MemTensor/memt-1
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2610.26825

Trợ lý cá nhân đồng hành dài hạn: Ghi nhớ sở thích, thói quen và các cuộc hội thoại trước đây của người dùng qua nhiều phiên, tạo trải nghiệm đồng hành liên tục càng dùng càng hiểu người dùng.
Tái sử dụng kinh nghiệm của Agent lập trình: Ghi phương pháp tái hiện vấn đề, mô hình thất bại và quy trình xác minh vào bộ nhớ để hướng dẫn các tác vụ tiếp theo.
Chăm sóc khách hàng thông minh cho doanh nghiệp: Agent chăm sóc khách hàng ghi nhớ lịch sử trao đổi và tiến độ dịch vụ của từng khách hàng, không cần hỏi lại; tài sản bộ nhớ được lưu giữ ở bên triển khai thay vì nhà cung cấp mô hình.
Phối hợp dự án dài hạn: Liên tục tích lũy ngữ cảnh trong các dự án kéo dài nhiều ngày hoặc nhiều tuần, không còn phải khởi động lại dự án và bắt đầu từ đầu khi cửa sổ ngữ cảnh đầy.
Nghiên cứu khoa học và tự cải tiến đệ quy (RSI): AI giữ lại các kết quả hữu ích từ mỗi lần thử và sai dưới dạng bộ nhớ, làm nền tảng cho vòng tự tối ưu hóa và cải tiến mã tiếp theo.