MemT 1.0 Inafanya kazi

MemT 1.0 ni modeli ya kwanza ya msingi yenye kumbukumbu asilia katika sekta, iliyotengenezwa na MemTensor na kutolewa kikamilifu kama chanzo huria. MemT 1.0 ina matoleo mawili: Flash (vigezo 288B/vigezo vilivyoamilishwa 17B) na Nano (vigezo 36B/vigezo vilivyoamilishwa 3B). MemT 1.0 husimba taarifa za zamani kuwa hali ya ndani ya kumbukumbu inayoweza kusasishwa kila mara, hivyo modeli inaweza kusoma na kuandika kumbukumbu moja kwa moja wakati wa ukokotoaji wa majibu bila kutegemea utafutaji wa nje au kuingiza tena maandishi. Katika vigezo 11 vya kumbukumbu, iko katika nafasi mbili za juu miongoni mwa mbinu za kumbukumbu zenye vigezo; katika hali zenye historia ndefu, kasi ya uelekezaji huongezeka hadi takriban mara 4 na matumizi ya hifadhi hupungua hadi 1/66, hivyo kuweka msingi wa usanifu kwa usaidizi wa muda mrefu wa Agent na uboreshaji wa kujirudia.

Hifadhi asilia ya kumbukumbu: Husimba taarifa za zamani kuwa hali endelevu ya kumbukumbu ndani ya modeli, na uzoefu wa zamani unaweza kutumiwa bila kutoa maandishi asilia wakati wa hoja.
Usasishaji wa kumbukumbu kwa kila token: Baada ya kila mzunguko wa mwingiliano, taarifa mpya huandikwa kiotomatiki kwenye kumbukumbu, huku ikisaidia udhibiti wa kina wa kufuta, kuandika na kusahau.
Kupanua uwezo wa kumbukumbu: Kupitia mfumo mseto wa hifadhi wa Mixture-of-Storage, uwezo unaweza kupanuliwa kwa kujitegemea kwa kutumia wataalamu wengi wa kumbukumbu.
Utumiaji tena wa uzoefu wa muda mrefu: Agent inaweza kutumia tena mbinu za awali za kutatua matatizo, mifumo ya kushindwa na taratibu za uthibitishaji; kiwango cha mafanikio cha SWE-bench huongezeka kwa takriban pointi 3 za asilimia.
Kuendeleza kumbukumbu kati ya vipindi: Hali ya kumbukumbu inaweza kuhifadhiwa na kurejeshwa kwa mfululizo, kisha kuhusishwa na mtumiaji au mfuatano wa kazi ili kuwezesha matumizi endelevu kwa muda mrefu.
Uelekezaji wenye ufanisi: Katika historia ndefu, kasi ya kutoka mwanzo hadi mwisho huongezeka hadi takriban mara 4; hifadhi endelevu ni 1/66 tu ya muktadha kamili na haiongezeki kadiri historia inavyokua.

Fuata WeChat na ujibu “开源” ili ujiunge na kikundi cha mawasiliano cha miradi ya AI ya chanzo huria
Usanifu wa kumbukumbu asilia: Moduli ya asilia ya kumbukumbu huingizwa sambamba katika moduli zilizochaguliwa za Transformer, na umakini asilia pamoja na umakini wa kumbukumbu huendeshwa kwa wakati mmoja: ingizo la sasa hupitia njia asilia, huku njia nyingine ikiuliza hali ya kumbukumbu na kusoma historia. Matokeo ya njia hizi mbili huunganishwa kabla ya kuingia kwenye ukokotoaji unaofuata, hivyo taarifa ya mwingiliano hushiriki moja kwa moja katika kutengeneza token ya sasa.
Muundo wa kumbukumbu wa tabaka mbili: Kumbukumbu inajumuisha kumbukumbu ya ndani inayobadilika na kumbukumbu kuu: ya kwanza huhifadhi taarifa za historia zilizobanwa, huku kila mfuatano wa mwingiliano ukidumishwa kivyake na kusasishwa pamoja na kipindi; ya pili hutoa vigezo vya makadirio na udhibiti wa milango, ambavyo hubaki thabiti baada ya mafunzo. Zote mbili kwa pamoja huwezesha uhifadhi na matumizi ya taarifa.
Mfumo wa usasishaji wa Gated DeltaNet-2: DeltaNet-2 yenye udhibiti wa milango hutumika kusasisha matriksi ya kumbukumbu kwa kila token baada ya kila mzunguko wa mwingiliano. Milango minne ya kufuta, kuandika, kusahau na kutoa hudhibiti mtawalia urekebishaji wa miunganisho ya zamani, uingizaji wa taarifa mpya, kiwango cha kuhifadhi na athari ya kumbukumbu kwenye jibu.
Mafunzo ya hatua mbili: Ujifunzaji endelevu wa awali kwa token bilioni 20 hujenga uwezo wa uundaji wa lugha unaotegemea kumbukumbu. Kisha token bilioni 14 hutumika katika mafunzo ya baadae kwa muundo wa muktadha—hoja—jibu kwa kutumia kunakili kwa KL; mwalimu anaweza kusoma muktadha kamili, huku mwanafunzi akijifunza tabia ya mwalimu kwa kutegemea hali ya kumbukumbu pekee, na vigezo vya kumbukumbu pekee ndivyo vinavyoboreshwa.

Pata modeli: Pakua uzani wa modeli za MemT-1.0-Flash au MemT-1.0-Nano kutoka GitHub au HuggingFace.
Weka modeli: Pakia modeli kwenye kompyuta ya ndani au seva, na usanidi rasilimali za kumbukumbu ya video kulingana na toleo lililochaguliwa.
Funga mfuatano wa kumbukumbu: Unda mfuatano huru wa mwingiliano kwa kila mtumiaji au kazi, na utenge nafasi maalum ya hali ya kumbukumbu ili kuhakikisha utenganishaji mkali wa kumbukumbu kati ya watumiaji tofauti.
Andika kumbukumbu: Baada ya kila mazungumzo, modeli hutumia operesheni ya commit kuandika kiotomatiki ingizo na jibu la mzunguko huo kwenye hali inayobadilika ya kumbukumbu, token baada ya token.
Soma kumbukumbu: Katika swali linalofuata, modeli husoma moja kwa moja hali ya kumbukumbu wakati wa ukokotoaji wa mbele ili kutoa jibu.
Endeleza kati ya vipindi: Hifadhi hali ya kumbukumbu kwa mfululizo kwenye hifadhi ya nje; kuirejesha katika kipindi kijacho huendeleza uzoefu uliokusanywa hapo awali.

Utendaji bora wa kumbukumbu: Katika vigezo 11 vya kumbukumbu, wastani wa alama ni 50.6 (Flash)/47.0 (Nano), ikiwa katika nafasi ya kwanza na ya pili miongoni mwa mbinu za kumbukumbu zenye vigezo, na ikiwa mbele ya msingi bora zaidi kwa pointi 12.5.
Kutumia historia bila maandishi asilia: Maandishi ya historia hayahitaji kutolewa wakati wa hoja; modeli husoma taarifa moja kwa moja kutoka hali ya ndani ya kumbukumbu, bila kutegemea utafutaji wa nje.
Kumbukumbu inaweza kujifunza na kusasishwa endelevu: Kupitia mafunzo, modeli hujifunza kuhifadhi, kusasisha na kusoma kumbukumbu; uzoefu mpya huandikwa token baada ya token bila kurekebisha modeli nzima.
Ufanisi mkubwa katika historia ndefu: Kwa historia ya token 256K, kasi ya uelekezaji kutoka mwanzo hadi mwisho huongezeka takriban mara 3.99; hifadhi endelevu ni 1/66 tu ya muktadha kamili na haiongezeki kadiri historia inavyokua.
Uwezo wa jumla karibu haudhoofiki: Chini ya kelele ya kumbukumbu isiyohusiana, ufuataji wa maagizo, uundaji wa msimbo na uelewaji wa maandishi marefu vinaendelea kuwa karibu sawa na msingi asilia au vinaimarika kidogo.
Kuendeleza uzoefu kati ya vipindi: Hali ya kumbukumbu inaweza kuhifadhiwa na kurejeshwa kwa mfululizo, na kumwezesha Agent kuwa mahiri zaidi na wa gharama nafuu zaidi kadiri inavyotumiwa.
Udhibiti wa kumbukumbu uko kwa mhusika anayesambaza: Mtoa huduma wa modeli anamiliki rasilimali za kipekee za kumbukumbu, hivyo modeli ya chanzo huria inaweza kubadilika kuwa modeli yenye nguvu na akili huru ya biashara.

Hazina ya GitHub: https://github.com/MemTensor/MemT-1.0
Maktaba ya modeli ya HuggingFace: https://huggingface.co/collections/MemTensor/memt-1
Waraka wa kiufundi wa arXiv: https://arxiv.org/pdf/2610.26825

Msaidizi binafsi wa uandamani wa muda mrefu: Hukumbuka mapendeleo, mazoea na mazungumzo ya awali ya mtumiaji kati ya vipindi, na kutoa uandamani endelevu unaoelewa mtumiaji zaidi kadiri unavyotumiwa.
Utumiaji tena wa uzoefu wa Agent wa programu: Huandika mbinu za kuzalisha upya matatizo, mifumo ya kushindwa na taratibu za uthibitishaji kwenye kumbukumbu ili kuongoza kazi zinazofuata.
Huduma kwa wateja yenye akili ya biashara: Agent ya huduma kwa wateja hukumbuka historia ya mawasiliano na maendeleo ya huduma ya kila mteja bila kuuliza tena, huku rasilimali za kumbukumbu zikibaki kwa mhusika anayesambaza badala ya mtengenezaji wa modeli.
Ushirikiano wa miradi ya muda mrefu: Hukusanya muktadha mfululizo katika miradi inayochukua siku au wiki, bila kuanzisha upya mradi na kuanza kutoka mwanzo kila dirisha la muktadha linapojaa.
Utafiti wa kisayansi na uboreshaji wa kujirudia (RSI): AI huhifadhi matokeo yenye manufaa ya kila jaribio na kosa kama kumbukumbu, na kuyatumia kama msingi wa uboreshaji binafsi na uboreshaji wa msimbo katika mzunguko unaofuata.