MemT 1.0 চালু আছে

MemT 1.0 হলো মেমরি টেনসর প্রকাশিত শিল্পের প্রথম মেমরি-নেটিভ বেস মডেল, যা সম্পূর্ণভাবে ওপেন সোর্স করা হয়েছে। MemT 1.0-এর দুটি সংস্করণ রয়েছে: Flash (288B প্যারামিটার/17B সক্রিয়) এবং Nano (36B প্যারামিটার/3B সক্রিয়)। MemT 1.0 ঐতিহাসিক তথ্যকে ধারাবাহিকভাবে আপডেটযোগ্য অভ্যন্তরীণ মেমরি অবস্থায় এনকোড করে, ফলে মডেলটি অনুমান গণনার সময় সরাসরি মেমরি পড়তে ও লিখতে পারে; বাহ্যিক অনুসন্ধান বা বারবার টেক্সট প্রবেশ করানোর ওপর নির্ভর করতে হয় না। 11টি মেমরি বেঞ্চমার্কে এটি প্যারামেট্রিক মেমরি পদ্ধতিগুলোর মধ্যে শীর্ষ দুইয়ে রয়েছে। দীর্ঘ ইতিহাসের পরিস্থিতিতে অনুমানের গতি সর্বোচ্চ প্রায় 4 গুণ বাড়ে এবং স্টোরেজ ব্যবহার কমে 1/66-এ নেমে আসে, যা Agent-এর দীর্ঘমেয়াদি সহচর্য ও পুনরাবৃত্ত স্ব-উন্নতির জন্য স্থাপত্যের ভিত্তি তৈরি করে।

মেমরি-নেটিভ স্টোরেজ: ঐতিহাসিক তথ্যকে মডেলের অভ্যন্তরীণ স্থায়ী মেমরি অবস্থায় এনকোড করে; অনুসন্ধানের সময় মূল টেক্সট সরবরাহ না করেও অতীত অভিজ্ঞতা ব্যবহার করা যায়।
প্রতি টোকেনে মেমরি আপডেট: প্রতিটি ইন্টারঅ্যাকশন শেষ হওয়ার পর নতুন তথ্য স্বয়ংক্রিয়ভাবে মেমরিতে লেখা হয়, যেখানে মুছে ফেলা, লেখা ও ভুলে যাওয়ার সূক্ষ্ম নিয়ন্ত্রণ থাকে।
মেমরি ধারণক্ষমতা সম্প্রসারণ: Mixture-of-Storage মিশ্র স্টোরেজ পদ্ধতির মাধ্যমে একাধিক মেমরি বিশেষজ্ঞ ব্যবহার করে ধারণক্ষমতা স্বাধীনভাবে বাড়ানো যায়।
দীর্ঘমেয়াদি অভিজ্ঞতার পুনর্ব্যবহার: Agent অতীতের সমস্যা সমাধানের পদ্ধতি, ব্যর্থতার ধরন ও যাচাই প্রক্রিয়া পুনর্ব্যবহার করতে পারে, ফলে SWE-bench সফলতার হার প্রায় 3 শতাংশ পয়েন্ট বাড়ে।
সেশন-জুড়ে মেমরি অব্যাহত রাখা: মেমরি অবস্থা সিরিয়ালাইজ করে সংরক্ষণ ও পুনরুদ্ধার করা যায় এবং ব্যবহারকারী বা কাজের ট্রাজেক্টরির সঙ্গে যুক্ত করা যায়, ফলে দীর্ঘমেয়াদি ধারাবাহিক ব্যবহার সম্ভব হয়।
দক্ষ অনুমান: দীর্ঘ ইতিহাসে এন্ড-টু-এন্ড গতি সর্বোচ্চ প্রায় 4 গুণ বাড়ে; স্থায়ী স্টোরেজ সম্পূর্ণ কনটেক্সটের মাত্র 1/66 এবং ইতিহাস বাড়লেও এর আকার বাড়ে না।

WeChat-এ ফলো করে “开源” লিখে উত্তর পাঠান এবং AI ওপেন সোর্স প্রকল্পের গ্রুপে যোগ দিন
মেমরি-নেটিভ স্থাপত্য: নির্বাচিত Transformer মডিউলে সমান্তরালভাবে নেটিভ মেমরি মডিউল যুক্ত করা হয়, যাতে মূল attention ও মেমরি attention একসঙ্গে চলে: বর্তমান ইনপুট এক পথে মূল প্রক্রিয়ায় যায়, অন্য পথে মেমরি অবস্থা অনুসন্ধান করে ইতিহাস পড়ে। দুই পথের ফল একত্রিত হয়ে পরবর্তী গণনায় প্রবেশ করে, ফলে ইন্টারঅ্যাকশনের তথ্য সরাসরি বর্তমান টোকেন তৈরিতে অংশ নেয়।
দুই-স্তরীয় মেমরি কাঠামো: মেমরি ডায়নামিক লোকাল মেমরি ও হাইপারমেমরি নিয়ে গঠিত। প্রথমটি সংকুচিত ঐতিহাসিক তথ্য সংরক্ষণ করে এবং প্রতিটি ইন্টারঅ্যাকশন ট্রাজেক্টরি স্বাধীনভাবে পরিচালনা করে, যা সেশনের সঙ্গে আপডেট হয়। দ্বিতীয়টি প্রজেকশন ও গেটিং প্যারামিটার সরবরাহ করে এবং প্রশিক্ষণের পর স্থির থাকে। উভয়টি মিলে তথ্য সংরক্ষণ ও ব্যবহারে সহায়তা করে।
Gated DeltaNet-2 আপডেট পদ্ধতি: গেটযুক্ত DeltaNet-2 ব্যবহার করে প্রতিটি ইন্টারঅ্যাকশন শেষে প্রতি টোকেনে মেমরি ম্যাট্রিক্স আপডেট করা হয়। মুছে ফেলা, লেখা, ভুলে যাওয়া ও আউটপুট—এই চার ধরনের গেটিংয়ের মাধ্যমে পুরোনো সম্পর্ক সমন্বয়, নতুন তথ্য প্রবেশ, ধরে রাখার মাত্রা এবং উত্তরে মেমরির প্রভাব পৃথকভাবে নিয়ন্ত্রণ করা হয়।
দুই-পর্যায়ের প্রশিক্ষণ: 2000 কোটি টোকেনের ধারাবাহিক প্রি-ট্রেনিংয়ের মাধ্যমে মেমরিনির্ভর ভাষা মডেলিং ক্ষমতা তৈরি করা হয়। এরপর 1400 কোটি টোকেনের পোস্ট-ট্রেনিংয়ে কনটেক্সট—কোয়েরি—উত্তর বিন্যাসে KL ডিস্টিলেশন করা হয়। শিক্ষক সম্পূর্ণ কনটেক্সট পড়তে পারেন, শিক্ষার্থী কেবল মেমরি অবস্থার ওপর নির্ভর করে শিক্ষকের আচরণ শেখে এবং শুধু মেমরি প্যারামিটার অপ্টিমাইজ করা হয়।

মডেল সংগ্রহ: GitHub বা HuggingFace থেকে MemT-1.0-Flash অথবা MemT-1.0-Nano-এর মডেল ওজন ডাউনলোড করুন।
মডেল স্থাপন: স্থানীয় কম্পিউটার বা সার্ভারে মডেল লোড করুন এবং নির্বাচিত সংস্করণ অনুযায়ী GPU মেমরি রিসোর্স কনফিগার করুন।
মেমরি ট্রাজেক্টরি যুক্ত করা: প্রতিটি ব্যবহারকারী বা কাজের জন্য আলাদা ইন্টারঅ্যাকশন ট্রাজেক্টরি তৈরি করুন এবং নির্দিষ্ট মেমরি অবস্থান বরাদ্দ করুন, যাতে ব্যবহারকারীদের মধ্যে মেমরি কঠোরভাবে আলাদা থাকে।
মেমরিতে লেখা: প্রতিটি কথোপকথন শেষ হলে মডেল commit অপারেশনের মাধ্যমে ওই পর্বের ইনপুট ও উত্তর প্রতি টোকেনে স্বয়ংক্রিয়ভাবে ডায়নামিক মেমরি অবস্থায় লিখে দেয়।
মেমরি পড়া: পরবর্তী প্রশ্নের সময় মডেল ফরওয়ার্ড গণনার মধ্যে সরাসরি মেমরি অবস্থা পড়ে উত্তর তৈরি করে।
সেশন-জুড়ে ধারাবাহিকতা: মেমরি অবস্থা সিরিয়ালাইজ করে বাহ্যিক স্টোরেজে সংরক্ষণ করুন; পরবর্তী সেশনে তা পুনরুদ্ধার করলে পূর্বে সঞ্চিত অভিজ্ঞতা অব্যাহত থাকে।

মেমরি কর্মক্ষমতায় এগিয়ে: 11টি মেমরি বেঞ্চমার্কে গড় স্কোর 50.6 (Flash)/47.0 (Nano), প্যারামেট্রিক মেমরি পদ্ধতিতে প্রথম ও দ্বিতীয় এবং সবচেয়ে শক্তিশালী বেসলাইনের চেয়ে 12.5 পয়েন্ট এগিয়ে।
মূল টেক্সট ছাড়াই ইতিহাস ব্যবহার: অনুসন্ধানের সময় মূল ঐতিহাসিক টেক্সট দেওয়ার প্রয়োজন নেই; মডেল সরাসরি অভ্যন্তরীণ মেমরি অবস্থা থেকে তথ্য পড়ে এবং বাহ্যিক অনুসন্ধারের ওপর নির্ভরতা দূর করে।
শেখার যোগ্য ও ধারাবাহিকভাবে আপডেটযোগ্য মেমরি: প্রশিক্ষণের মাধ্যমে মডেল মেমরি সংরক্ষণ, আপডেট ও পড়তে শেখে; নতুন অভিজ্ঞতা প্রতি টোকেনে লেখা হয়, পুরো মডেল ফাইন-টিউন করার প্রয়োজন হয় না।
দীর্ঘ ইতিহাসে উল্লেখযোগ্য দক্ষতা: 256K টোকেন ইতিহাসে এন্ড-টু-এন্ড অনুমানের গতি প্রায় 3.99 গুণ বাড়ে; স্থায়ী স্টোরেজ সম্পূর্ণ কনটেক্সটের মাত্র 1/66 এবং ইতিহাস বাড়লেও এর আকার বাড়ে না।
সাধারণ সক্ষমতায় প্রায় কোনো ক্ষতি নেই: অপ্রাসঙ্গিক মেমরি নয়েজের মধ্যেও নির্দেশনা অনুসরণ, কোড তৈরি ও দীর্ঘ টেক্সট বোঝার মতো ক্ষমতা মূল মডেলের প্রায় সমান, এমনকি কিছুটা উন্নতও হতে পারে।
সেশন-জুড়ে অভিজ্ঞতার ধারাবাহিকতা: মেমরি অবস্থা সিরিয়ালাইজ করে সংরক্ষণ ও পুনরুদ্ধার করা যায়, ফলে Agent ব্যবহারের সঙ্গে আরও বুদ্ধিমান ও সাশ্রয়ী হয়।
মেমরির নিয়ন্ত্রণ স্থাপনা পক্ষের হাতে: মডেল ব্যবহারকারী প্রতিষ্ঠান নিজস্ব অনন্য মেমরি সম্পদের মালিক হয়, ফলে ওপেন সোর্স মডেল প্রতিষ্ঠান-নিয়ন্ত্রিত বুদ্ধিমত্তাসম্পন্ন শক্তিশালী মডেলে বিকশিত হতে পারে।

GitHub রিপোজিটরি: https://github.com/MemTensor/MemT-1.0
HuggingFace মডেল সংগ্রহ: https://huggingface.co/collections/MemTensor/memt-1
arXiv প্রযুক্তিগত গবেষণাপত্র: https://arxiv.org/pdf/2610.26825

দীর্ঘমেয়াদি সহচর ব্যক্তিগত সহকারী: সেশনজুড়ে ব্যবহারকারীর পছন্দ, অভ্যাস ও পূর্ববর্তী কথোপকথন মনে রেখে ব্যবহারের সঙ্গে আরও উপযোগী ধারাবাহিক সহচর্য প্রদান।
প্রোগ্রামিং Agent-এর অভিজ্ঞতা পুনর্ব্যবহার: সমস্যা পুনরুৎপাদনের পদ্ধতি, ব্যর্থতার ধরন ও যাচাই প্রক্রিয়া মেমরিতে লিখে পরবর্তী কাজকে নির্দেশনা দেওয়া।
প্রতিষ্ঠানের বুদ্ধিমান গ্রাহকসেবা: কাস্টমার সার্ভিস Agent প্রতিটি গ্রাহকের পূর্ববর্তী যোগাযোগ ও সেবার অগ্রগতি মনে রাখে, ফলে বারবার জিজ্ঞাসা করতে হয় না; মেমরি সম্পদ মডেল নির্মাতার কাছে নয়, স্থাপনা পক্ষের কাছেই থাকে।
দীর্ঘমেয়াদি প্রকল্প সহযোগিতা: একাধিক দিন বা সপ্তাহ ধরে চলা প্রকল্পে ধারাবাহিকভাবে কনটেক্সট সঞ্চয় করা যায়; কনটেক্সট উইন্ডো পূর্ণ হয়ে গেলে প্রকল্প নতুন করে শুরু করে শূন্য থেকে এগোতে হয় না।
বৈজ্ঞানিক গবেষণা ও পুনরাবৃত্ত স্ব-উন্নতি (RSI): AI প্রতিটি পরীক্ষা-নিরীক্ষার কার্যকর ফলাফল মেমরি হিসেবে সংরক্ষণ করে এবং পরবর্তী স্ব-অপ্টিমাইজেশন ও কোড উন্নতির ভিত্তি হিসেবে ব্যবহার করে।