Thinking Machines Lab গতকাল (৩০ জুলাই) একটি ব্লগ পোস্ট প্রকাশ করে Inkling-Small মডেল উন্মোচনের ঘোষণা দিয়েছে। মডেলটির পারফরম্যান্স Inkling-এর সমতুল্য হলেও এর আকার প্রায় এক-চতুর্থাংশ।
Inkling-কে “যুক্তরাষ্ট্রের শক্তিশালী ওপেন সোর্স AI মডেল” বলা হয়। এটি মিশ্র বিশেষজ্ঞ (MoE) আর্কিটেকচার ব্যবহার করে। এতে মোট প্যারামিটার 975B, সক্রিয় প্যারামিটার 41B এবং সর্বোচ্চ কনটেক্সট দৈর্ঘ্য 1M tokens।
এবার উন্মোচিত Inkling-Small মডেলটিও মিশ্র বিশেষজ্ঞ (MoE) আর্কিটেকচার ব্যবহার করে। এতে মোট প্যারামিটার 276B এবং সক্রিয় প্যারামিটার 12B। এর আকার Inkling-এর প্রায় 1/4 এবং এটি NVIDIA GB300 NVL72 সিস্টেমে প্রশিক্ষিত হয়েছে।
Inkling-এর মতো Inkling-Small-ও অডিও ও ছবির নেটিভ ইনফারেন্স, পরিবর্তনশীল চিন্তার মাত্রা এবং সর্বোচ্চ 1M token কনটেক্সট উইন্ডার সমর্থন করে। বিভিন্ন ধরনের বেঞ্চমার্ক পরীক্ষায়ও এটি তুলনামূলকভাবে ভারসাম্যপূর্ণ পারফরম্যান্স বজায় রেখেছে।
Thinking Machines Inkling-Small-এর সম্পূর্ণ ওজন উন্মুক্ত করেছে। একই সঙ্গে মডেলটিকে Tinker ফাইন-টিউনিং সেবায় যুক্ত করা হয়েছে এবং Tinker Playground-এ টেক্সট, ছবি ও অডিও চ্যাটের সুবিধা দেওয়া হয়েছে।
Thinking Machines জানিয়েছে, Inkling-Small কম কম্পিউটিং শক্তি ব্যবহার করে Inkling-এর কাছাকাছি পারফরম্যান্স অর্জন করে। এজেন্ট টুল ব্যবহার, রিজনিং এবং নির্দেশনা অনুসরণ পরীক্ষায় Inkling-Small-এর দক্ষতা Inkling-এর চেয়ে বেশি এবং একই ওজন-স্তরের অন্যান্য মডেলের সঙ্গেও এটি প্রতিযোগিতা করতে পারে।
রিজনিং ও এজেন্ট-সংক্রান্ত কাজে Inkling-Small, Inkling-এর সমান বা তার চেয়ে ভালো ফল করেছে। Humanity’s Last Exam পরীক্ষায় Inkling-Small 31.6% নম্বর পেয়েছে, যা Inkling-এর 29.7%-এর চেয়ে বেশি। Thinking Machines জানিয়েছে, প্রতিটি চিন্তা বাজেটের ক্ষেত্রে পরীক্ষাকালীন কম্পিউটিং কার্ভে Inkling-Small, Inkling-এর চেয়ে এগিয়ে রয়েছে।
