Artificial Analysis ২৪ আগস্ট একটি ব্লগ পোস্ট প্রকাশ করে জানায় যে তারা Liquid AI-এর সঙ্গে অংশীদারত্বে মোবাইল ফোনের জন্য AI বেঞ্চমার্ক চালু করেছে। এতে Apple iPhone 17 Pro-তে AI মডেলগুলোর কর্মদক্ষতার ওপর বিশেষ গুরুত্ব দেওয়া হয়েছে।
এর মধ্যে Artificial Analysis বুদ্ধিমত্তার সক্ষমতা পরীক্ষার সিস্টেম পরিচালনা করে এবং Liquid AI ইনফারেন্স কর্মদক্ষতা পরীক্ষার সিস্টেম পরিচালনা করে। উভয় পক্ষ ৫টি বেঞ্চমার্ক বেছে নিয়েছে:
BFCL (Berkeley ফাংশন কলিং লিডারবোর্ড)
IFBench (নির্দেশনা অনুসরণ পরীক্ষা)
AA-Omniscience (জ্ঞান ও উপলব্ধি-সম্পর্কিত পরীক্ষা)
GPQA Diamond (উচ্চ-কঠিনতার প্রশ্নোত্তর পরীক্ষা)
MATH-500 (গাণিতিক সমস্যা পরীক্ষা)।
পরীক্ষার মডেলগুলো ৪-বিট কোয়ান্টাইজেশনের পর ৮GB-এর বেশি নয় এমন মডেল। উদাহরণের মধ্যে রয়েছে Gemma 4 E2B এবং LFM2-2.6B-Exp।
কনটেক্সট দৈর্ঘ্য 16K tokens-এ সীমাবদ্ধ করলে গড় বেঞ্চমার্ক স্কোরে শীর্ষে রয়েছে Nanbeige4.2-3B এবং LFM2.5-2.6B। প্রতিক্রিয়ার সময় সর্বোচ্চ ১ মিনিট নির্ধারণ করলে LFM2.5-8B-A1B প্রথম, এরপর রয়েছে LFM2-2.6B-Exp, Gemma 4 E4B (Non-reasoning) এবং Granite 4.1 8B।
Nanbeige4.2-3B তৈরি করেছে BOSS直聘-এর অধীনস্থ Nanbeige ল্যাবরেটরি। এতে মাত্র ৩০০ কোটি নন-এমবেডিং প্যারামিটার রয়েছে (মোট প্যারামিটার প্রায় ৪০০ কোটি)। এটি Looped Transformer আর্কিটেকচার ব্যবহার করে এবং প্যারামিটারের সংখ্যা না বাড়িয়ে Transformer স্তরগুলো পুনঃব্যবহার করে (দুইবার লুপ চালিয়ে) মডেলের কার্যকর গণনাগত গভীরতা ও সক্ষমতা বাড়ায়।
প্রাসঙ্গিক স্ক্রিনশট নিচে দেওয়া হলো:
