Artificial Analysis نے 24 اگست کو ایک بلاگ پوسٹ جاری کرتے ہوئے اعلان کیا کہ وہ Liquid AI کے ساتھ مل کر موبائل فونز کے لیے AI بینچ مارک جاری کرے گا، جس میں خاص طور پر Apple iPhone 17 Pro پر AI ماڈلز کی کارکردگی کا جائزہ لیا جائے گا۔
اس میں Artificial Analysis ذہانت کی سطح جانچنے کا نظام فراہم کرے گا، جبکہ Liquid AI استدلالی کارکردگی جانچنے کا نظام فراہم کرے گا۔ دونوں فریقوں نے 5 بینچ مارکس منتخب کیے ہیں:
BFCL (Berkeley فنکشن کالنگ لیڈر بورڈ)
IFBench (ہدایات پر عمل درآمد کا ٹیسٹ)
AA-Omniscience (علم اور ادراک سے متعلق ٹیسٹ)
GPQA Diamond (مشکل سوال و جواب کا ٹیسٹ)
MATH-500 (ریاضی کے مسائل کا ٹیسٹ)۔
ٹیسٹ کے لیے ایسے ماڈلز منتخب کیے گئے جن کا 4 bit کوانٹائزیشن کے بعد حجم 8GB سے زیادہ نہیں تھا، جن میں Gemma 4 E2B اور LFM2-2.6B-Exp شامل ہیں۔
جب سیاق و سباق کی لمبائی 16K tokens تک محدود کی گئی تو اوسط بینچ مارک اسکور Nanbeige4.2-3B اور LFM2.5-2.6B کا سب سے زیادہ رہا۔ جب جواب دینے کا وقت زیادہ سے زیادہ 1 منٹ مقرر کیا گیا تو LFM2.5-8B-A1B پہلے نمبر پر رہا، اس کے بعد LFM2-2.6B-Exp، Gemma 4 E4B (Non-reasoning) اور Granite 4.1 8B رہے۔
Nanbeige4.2-3B کو BOSS直聘 کے ماتحت Nanbeige پراجیکٹ لیب نے تیار کیا ہے۔ اس میں صرف 3 بلین نان ایمبیڈنگ پیرامیٹرز ہیں (کل پیرامیٹرز تقریباً 4 بلین)، اور یہ Looped Transformer آرکیٹیکچر استعمال کرتا ہے۔ Transformer کی تہوں کو پیرامیٹرز کی تعداد بڑھائے بغیر دوبارہ استعمال کرتے ہوئے (دو چکر)، یہ ماڈل کی مؤثر حسابی گہرائی اور گنجائش بہتر بناتا ہے۔
متعلقہ اسکرین شاٹس درج ذیل ہیں:
