MemT 1.0 آپریشن میں

MemT 1.0 میموری ٹینسر کی جانب سے صنعت کا پہلا میموری نیٹو بنیادی ماڈل ہے، جسے مکمل طور پر اوپن سورس کر دیا گیا ہے۔ MemT 1.0 کے دو ورژن ہیں: Flash (288B پیرامیٹرز/17B فعال) اور Nano (36B پیرامیٹرز/3B فعال)۔ MemT 1.0 تاریخی معلومات کو مسلسل اپ ڈیٹ ہونے والی داخلی میموری حالت میں انکوڈ کرتا ہے، جس سے ماڈل بیرونی بازیافت یا متن کو بار بار شامل کرنے کے بجائے استدلال کے دوران براہِ راست میموری کو پڑھ اور لکھ سکتا ہے۔ 11 میموری بینچ مارکس پر یہ پیرامیٹرائزڈ میموری طریقوں میں پہلے دو مقامات پر ہے۔ طویل تاریخی سیاق و سباق میں استدلال کی رفتار تقریباً 4 گنا تک بڑھ جاتی ہے اور اسٹوریج کا استعمال 1/66 تک کم ہو جاتا ہے، جو Agent کی طویل مدتی معاونت اور تکراری خود بہتری کے لیے بنیادی معماری بنیاد فراہم کرتا ہے۔

میموری نیٹو اسٹوریج: تاریخی معلومات کو ماڈل کی داخلی مستقل میموری حالت میں انکوڈ کرتا ہے، اس لیے استفسار کے وقت اصل متن فراہم کیے بغیر تاریخی تجربات دستیاب رہتے ہیں۔
ہر token کے بعد میموری اپ ڈیٹ: ہر تعامل کے اختتام پر نئی معلومات خودکار طور پر میموری میں لکھی جاتی ہیں، جبکہ مٹانے، لکھنے اور بھولنے پر باریک کنٹرول دستیاب ہوتا ہے۔
میموری کی گنجائش میں توسیع: Mixture-of-Storage مرکب اسٹوریج میکانزم کے ذریعے متعدد میموری ماہرین کی مدد سے گنجائش کو آزادانہ طور پر بڑھایا جا سکتا ہے۔
طویل مدتی تجربے کا دوبارہ استعمال: Agent سابقہ مسئلہ حل کرنے کے طریقوں، ناکامی کے نمونوں اور تصدیقی مراحل کو دوبارہ استعمال کر سکتا ہے، جس سے SWE-bench کی کامیابی کی شرح تقریباً 3 فیصد پوائنٹس بڑھتی ہے۔
سیشنز کے درمیان میموری کا تسلسل: میموری حالت کو سیریلائز کر کے محفوظ اور بحال کیا جا سکتا ہے، اسے صارف یا کام کے سلسلے سے منسلک کر کے طویل مدتی مسلسل استعمال ممکن ہوتا ہے۔
مؤثر استدلال: طویل تاریخی سیاق و سباق میں اینڈ ٹو اینڈ رفتار تقریباً 4 گنا تک بڑھ جاتی ہے، مستقل اسٹوریج مکمل سیاق و سباق کا صرف 1/66 ہوتا ہے اور تاریخ بڑھنے کے ساتھ نہیں بڑھتا۔

WeChat پر فالو کریں اور “开源” کا جواب بھیج کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
میموری نیٹو معماری: منتخب Transformer ماڈیولز میں مقامی میموری ماڈیولز کو متوازی طور پر شامل کیا جاتا ہے، جس سے اصل attention اور میموری attention ساتھ ساتھ چلتے ہیں: موجودہ ان پٹ ایک راستے سے اصل عمل میں جاتا ہے، جبکہ دوسرا راستہ میموری حالت سے تاریخی معلومات پڑھتا ہے۔ دونوں راستوں کے نتائج کو ملا کر اگلی गणना میں بھیجا جاتا ہے، جس سے تعامل کی معلومات براہِ راست موجودہ token کی تخلیق میں شامل ہوتی ہیں۔
دو سطحی میموری ڈھانچہ: میموری متحرک مقامی میموری اور ہائپر میموری پر مشتمل ہوتی ہے۔ پہلی میں سکیڑی ہوئی تاریخی معلومات محفوظ رہتی ہیں، ہر تعامل کے سلسلے کو الگ برقرار رکھا جاتا ہے اور سیشن کے ساتھ اپ ڈیٹ کیا جاتا ہے؛ دوسری projection اور gating پیرامیٹرز فراہم کرتی ہے، جو تربیت کے بعد مستقل رہتے ہیں۔ دونوں مل کر معلومات کے ذخیرے اور استعمال کو سہارا دیتے ہیں۔
Gated DeltaNet-2 اپ ڈیٹ میکانزم: gated DeltaNet-2 استعمال کرتے ہوئے ہر تعامل کے اختتام پر میموری میٹرکس کو token بہ token اپ ڈیٹ کیا جاتا ہے۔ چار gating اقسام بالترتیب پرانے تعلقات کی ایڈجسٹمنٹ، نئی معلومات کے اندراج، برقرار رکھنے کی شدت اور جواب پر میموری کے اثر کو کنٹرول کرتی ہیں۔
دو مرحلوں کی تربیت: 200亿 token کی مسلسل pre-training سے میموری پر انحصار کرنے والی زبان ماڈلنگ کی صلاحیت قائم کی جاتی ہے، پھر 140亿 token کے ساتھ post-training کی جاتی ہے۔ اس میں سیاق و سباق—استفسار—جواب کی شکل میں KL distillation استعمال ہوتی ہے؛ استاد مکمل سیاق و سباق پڑھ سکتا ہے، جبکہ طالب علم صرف میموری حالت کی بنیاد پر استاد کے رویے کو سیکھتا ہے، اور صرف میموری پیرامیٹرز کو بہتر بنایا جاتا ہے۔

ماڈل حاصل کریں: GitHub یا HuggingFace سے MemT-1.0-Flash یا MemT-1.0-Nano کے ماڈل وزن ڈاؤن لوڈ کریں۔
ماڈل تعینات کریں: ماڈل کو مقامی کمپیوٹر یا سرور پر لوڈ کریں اور منتخب ورژن کے مطابق GPU میموری کے وسائل مختص کریں۔
میموری ٹریک منسلک کریں: ہر صارف یا کام کے لیے الگ تعاملاتی ٹریک بنائیں اور مخصوص میموری حالت مختص کریں تاکہ مختلف صارفین کی میموریز مکمل طور پر الگ رہیں۔
میموری میں لکھیں: ہر گفتگو کے اختتام پر ماڈل commit آپریشن کے ذریعے اس دور کے ان پٹ اور جواب کو token بہ token متحرک میموری حالت میں خودکار طور پر لکھتا ہے۔
میموری پڑھیں: اگلے سوال کے وقت ماڈل forward computation کے دوران میموری حالت کو براہِ راست پڑھ کر جواب تیار کرتا ہے۔
سیشنز کے درمیان تسلسل: میموری حالت کو بیرونی اسٹوریج میں سیریلائز کر کے محفوظ کریں؛ اگلے سیشن میں اس حالت کو بحال کرنے سے پہلے جمع کیے گئے تجربات کا سلسلہ جاری رہتا ہے۔

میموری کارکردگی میں برتری: 11 میموری بینچ مارکس پر اوسط اسکور 50.6 (Flash)/47.0 (Nano) ہے، جو پیرامیٹرائزڈ میموری طریقوں میں بالترتیب پہلے اور دوسرے مقام پر ہے اور بہترین baseline سے 12.5 پوائنٹس آگے ہے۔
اصل متن کے بغیر تاریخی معلومات دستیاب: استفسار کے وقت اصل تاریخی متن فراہم کرنے کی ضرورت نہیں، ماڈل داخلی میموری حالت سے براہِ راست معلومات پڑھتا ہے اور بیرونی retrieval سے آزاد ہو جاتا ہے۔
سیکھنے اور مسلسل اپ ڈیٹ ہونے والی میموری: تربیت کے ذریعے ماڈل میموری کو برقرار رکھنا، اپ ڈیٹ کرنا اور پڑھنا سیکھتا ہے۔ نئے تجربات token بہ token لکھے جاتے ہیں، پورے ماڈل کو fine-tune کرنے کی ضرورت نہیں رہتی۔
طویل تاریخ میں نمایاں کارکردگی: 256K token کی تاریخ کے ساتھ اینڈ ٹو اینڈ استدلال کی رفتار تقریباً 3.99 گنا بڑھتی ہے، مستقل اسٹوریج مکمل سیاق و سباق کا صرف 1/66 ہے اور تاریخ بڑھنے کے ساتھ نہیں بڑھتا۔
عمومی صلاحیتوں میں تقریباً کوئی کمی نہیں: غیر متعلقہ میموری کے شور کے باوجود ہدایات کی پیروی، کوڈ کی تخلیق اور طویل متن کی تفہیم جیسی صلاحیتیں اصل backbone کے تقریباً برابر یا قدرے بہتر رہتی ہیں۔
سیشنز کے درمیان تجربے کا تسلسل: میموری حالت کو سیریلائز کر کے محفوظ اور بحال کیا جا سکتا ہے، جس سے Agent کے استعمال کے ساتھ ذہانت بڑھتی اور لاگت کم ہوتی جاتی ہے۔
میموری کی ملکیت تعینات کرنے والے کے پاس: ماڈل کے کاروباری صارف کے پاس منفرد میموری اثاثے رہتے ہیں، جس سے اوپن سورس ماڈل کاروباری خودمختار ذہانت رکھنے والے طاقتور ماڈل میں ارتقا کر سکتا ہے۔

GitHub repository: https://github.com/MemTensor/MemT-1.0
HuggingFace model library: https://huggingface.co/collections/MemTensor/memt-1
arXiv تکنیکی مقالہ: https://arxiv.org/pdf/2610.26825

طویل مدتی معاونت کرنے والا ذاتی معاون: سیشنز کے درمیان صارف کی ترجیحات، عادات اور سابقہ گفتگو یاد رکھتا ہے، جس سے استعمال کے ساتھ بہتر سمجھ پیدا کرنے والا مسلسل معاونتی تجربہ فراہم ہوتا ہے۔
Programming Agent کے تجربے کا دوبارہ استعمال: مسئلے کو دوبارہ پیدا کرنے کے طریقے، ناکامی کے نمونے اور تصدیقی مراحل میموری میں لکھ کر آئندہ کاموں کی رہنمائی کی جاتی ہے۔
کاروباری ذہین کسٹمر سروس: کسٹمر سروس Agent ہر صارف کی سابقہ گفتگو اور سروس کی پیش رفت یاد رکھتا ہے، اس لیے بار بار سوال کرنے کی ضرورت نہیں رہتی، جبکہ میموری اثاثے ماڈل فراہم کنندہ کے بجائے تعینات کرنے والے کے پاس محفوظ رہتے ہیں۔
طویل مدتی پروجیکٹ تعاون: کئی دنوں یا ہفتوں پر محیط پروجیکٹس میں سیاق و سباق مسلسل جمع ہوتا رہتا ہے، اور سیاق و سباق کی ونڈو ختم ہونے پر پروجیکٹ دوبارہ شروع کرنے کی ضرورت نہیں پڑتی۔
سائنسی تحقیق اور تکراری خود بہتری (RSI): AI ہر آزمائش اور غلطی کے مؤثر نتائج کو میموری کے طور پر محفوظ کرتا ہے، جو خود کو بہتر بنانے اور کوڈ میں بہتری کے اگلے مرحلے کی بنیاد بنتے ہیں۔