MemT 1.0 Faoliyat yuritmoqda

MemT 1.0 — Xotira Tensori tomonidan ishlab chiqilgan, sohadagi xotira-neytral ilk bazaviy model bo‘lib, to‘liq ochiq manbali tarzda taqdim etilgan. MemT 1.0 Flash (288B parametr/17B faollashtirilgan) va Nano (36B parametr/3B faollashtirilgan) versiyalarini o‘z ichiga oladi. MemT 1.0 tarixiy ma’lumotlarni doimiy yangilanib turadigan ichki xotira holatiga kodlaydi, shu sababli model xulosalash jarayonida tashqi qidiruv yoki matnni qayta kiritishga tayanmasdan xotirani bevosita o‘qishi va yozishi mumkin. 11 ta xotira benchmarkida parametrik xotira usullari orasida ikkinchi o‘rinda turadi; uzoq tarixli ssenariylarda xulosalash tezligini eng ko‘pi bilan taxminan 4 baravar oshiradi, saqlash hajmini esa 1/66 gacha kamaytiradi. Bu Agentlarning uzoq muddatli hamrohligi va rekursiv o‘zini takomillashtirishi uchun arxitektura asosini yaratadi.

Xotira-neytral saqlash: tarixiy ma’lumotlarni modelning doimiy ichki xotira holatiga kodlaydi; so‘rov vaqtida dastlabki matnni taqdim etmasdan avvalgi tajribadan foydalanish imkonini beradi.
Har bir token bo‘yicha xotirani yangilash: har bir muloqot yakunida yangi ma’lumotlarni avtomatik ravishda xotiraga yozadi, o‘chirish, yozish va unutishni nozik boshqarishni qo‘llab-quvvatlaydi.
Xotira sig‘imini kengaytirish: Mixture-of-Storage aralash saqlash mexanizmi orqali bir nechta xotira ekspertlari yordamida sig‘imni mustaqil ravishda kengaytiradi.
Uzoq muddatli tajribadan qayta foydalanish: Agent avvalgi masala yechish usullari, muvaffaqiyatsizlik namunalari va tekshirish jarayonlaridan qayta foydalanishi mumkin; SWE-bench muvaffaqiyat darajasi taxminan 3 foiz punktga oshadi.
Sessiyalararo xotira davomiyligi: xotira holatini seriyalash va saqlash, keyin tiklash mumkin; u foydalanuvchi yoki vazifa trayektoriyasiga bog‘lanib, uzoq muddatli uzluksiz foydalanishni ta’minlaydi.
Samarali xulosalash: uzoq tarixda uchidan uchigacha tezlik eng ko‘pi bilan taxminan 4 baravar oshadi; doimiy saqlash to‘liq kontekstning atigi 1/66 qismini egallaydi va tarix kengayishi bilan kattalashmaydi.

WeChat’da kuzatib boring va “开源” deb javob yuboring, AI ochiq manbali loyihalar guruhiga qo‘shiling
Xotira-neytral arxitektura: tanlangan Transformer modullariga original xotira modullarini parallel ulaydi, natijada original diqqat va xotira diqqati bir vaqtda ishlaydi: joriy kirish bir yo‘nalishda original yo‘l bo‘ylab o‘tadi, ikkinchi yo‘nalish esa tarixni o‘qish uchun xotira holatini so‘raydi. Ikki yo‘nalish natijalari birlashtirilib, keyingi hisoblashga uzatiladi va muloqotdagi ma’lumot joriy tokenni yaratishda bevosita ishtirok etadi.
Ikki qatlamli xotira tuzilmasi: xotira dinamik lokal xotira va superxotiradan iborat. Birinchisi siqilgan tarixiy ma’lumotlarni saqlaydi, har bir muloqot trayektoriyasi mustaqil yuritiladi va sessiya davomida yangilanadi; ikkinchisi proyeksiya hamda darvoza parametrlarini taqdim etadi va treningdan keyin o‘zgarmas qoladi. Ular birgalikda ma’lumotni saqlash va undan foydalanishni ta’minlaydi.
Gated DeltaNet-2 yangilash mexanizmi: darvozali DeltaNet-2 dan foydalanib, har bir muloqot yakunida xotira matritsasini tokenma-token yangilaydi. To‘rtta darvoza — o‘chirish, yozish, unutish va chiqarish — mos ravishda eski bog‘lanishlarni o‘zgartirish, yangi ma’lumotlarni kiritish, saqlash darajasi hamda xotiraning javobga ta’sirini boshqaradi.
Ikki bosqichli trening: xotiraga tayanadigan til modellashtirish qobiliyatini yaratish uchun 20 milliard token asosida uzluksiz dastlabki treningdan foydalanadi; 14 milliard token bilan keyingi treningda kontekst–so‘rov–javob formatida KL distillyatsiyasi amalga oshiriladi. O‘qituvchi to‘liq kontekstni o‘qiydi, o‘quvchi esa faqat xotira holatiga asoslanib o‘qituvchi xatti-harakatini o‘rganadi va faqat xotira parametrlari optimallashtiriladi.

Modelni olish: GitHub yoki HuggingFace’dan MemT-1.0-Flash yoki MemT-1.0-Nano model og‘irliklarini yuklab oling.
Modelni joylashtirish: modelni lokal kompyuter yoki serverda yuklang va tanlangan versiyaga muvofiq videoxotira resurslarini sozlang.
Xotira trayektoriyasini biriktirish: har bir foydalanuvchi yoki vazifa uchun mustaqil muloqot trayektoriyasini yarating va alohida xotira holati slotini ajrating; turli foydalanuvchilar xotirasi qat’iy ajratilganini ta’minlang.
Xotiraga yozish: har bir suhbat yakunida model commit amali orqali joriy kirish va javobni tokenma-token dinamik xotira holatiga avtomatik yozadi.
Xotirani o‘qish: keyingi savol berilganda model oldinga hisoblash jarayonida xotira holatini bevosita o‘qib, javob yaratadi.
Sessiyalararo davomiylik: xotira holatini tashqi saqlash tizimiga seriyalangan holda saqlang; keyingi sessiyada ushbu holatni tiklash orqali avval to‘plangan tajribani davom ettirish mumkin.

Xotira samaradorligi yetakchi: 11 ta xotira benchmarkida o‘rtacha ball 50.6 (Flash)/47.0 (Nano) bo‘lib, parametrik xotira usullari orasida mos ravishda birinchi va ikkinchi o‘rinlarni egallaydi; eng kuchli bazaviy modeldan 12.5 ball oldinda.
Dastlabki matnsiz tarixdan foydalanish: so‘rov vaqtida dastlabki tarixiy matnni taqdim etish shart emas; model ma’lumotni to‘g‘ridan-to‘g‘ri ichki xotira holatidan o‘qiydi va tashqi qidiruvga ehtiyoj qolmaydi.
Xotira o‘rganiladi va uzluksiz yangilanadi: trening orqali model xotirani saqlash, yangilash va o‘qishni o‘rganadi; yangi tajriba tokenma-token yoziladi va butun modelni nozik sozlash talab etilmaydi.
Uzoq tarixda yuqori samaradorlik: 256K tokenli tarixda uchidan uchigacha xulosalash tezligi taxminan 3.99 baravar oshadi; doimiy saqlash hajmi to‘liq kontekstning atigi 1/66 qismiga teng va tarix kengayishi bilan kattalashmaydi.
Umumiy qobiliyatlar deyarli yo‘qotishsiz: aloqasiz xotira shovqini mavjud bo‘lganda ko‘rsatmalarga amal qilish, kod yaratish va uzun matnni tushunish kabi qobiliyatlar original asosiy model bilan deyarli teng, ayrim hollarda esa biroz yaxshiroq.
Sessiyalararo tajriba davomiyligi: xotira holatini seriyalash, saqlash va tiklash mumkin; natijada Agent undan qancha ko‘p foydalansa, shuncha aqlliroq va arzonroq bo‘ladi.
Xotira suvereniteti joylashtiruvchi tomonda: modeldan foydalanayotgan biznes o‘ziga xos xotira aktivlariga ega bo‘ladi va ochiq manbali modelni korxona mustaqil intellektiga ega kuchli modelga aylantirishi mumkin.

GitHub repozitoriysi：https://github.com/MemTensor/MemT-1.0
HuggingFace model kutubxonasi：https://huggingface.co/collections/MemTensor/memt-1
arXiv texnik maqolasi：https://arxiv.org/pdf/2610.26825

Uzoq muddatli hamrohlik qiluvchi shaxsiy yordamchi: sessiyalar davomida foydalanuvchi afzalliklari, odatlari va avvalgi suhbatlarini eslab, undan qancha ko‘p foydalansangiz, sizni shuncha yaxshi tushunadigan uzluksiz hamrohlik tajribasini yaratadi.
Dasturlash Agentining tajribadan qayta foydalanishi: muammoni qayta yaratish usullari, muvaffaqiyatsizlik namunalari va tekshirish jarayonlarini xotiraga yozib, keyingi vazifalarni boshqaradi.
Korxona intellektual mijozlarga xizmat ko‘rsatishi: mijozlarga xizmat ko‘rsatuvchi Agent har bir mijozning avvalgi muloqotlari va xizmat ko‘rsatish jarayonini eslab qoladi, qayta-qayta so‘rashga hojat qolmaydi; xotira aktivlari model ishlab chiqaruvchisi emas, joylashtiruvchi tomon tasarrufida qoladi.
Uzoq muddatli loyiha hamkorligi: kunlar va haftalar davom etadigan loyihalarda kontekstni uzluksiz to‘playdi; kontekst oynasi to‘lib qolgani sababli loyihani qayta boshlash va hammasini boshidan qilishga hojat qolmaydi.
Ilmiy tadqiqot va rekursiv o‘zini takomillashtirish (RSI): AI har bir sinov va xatodan olingan samarali natijalarni xotira sifatida saqlab, keyingi o‘zini optimallashtirish va kodni yaxshilash uchun asos sifatida ishlatadi.