Artificial Analysis 24-avgust kuni blog postini e’lon qilib, Liquid AI bilan hamkorlikda smartfonlar uchun AI benchmarkini taqdim etganini bildirdi. Benchmark asosan AI modellarining Apple iPhone 17 Pro’dagi ishlashiga e’tibor qaratadi.
Artificial Analysis intellekt darajasini baholash tizimi uchun, Liquid AI esa inferensiya unumdorligini sinash tizimi uchun mas’ul bo‘ldi. Tomonlar 5 ta benchmark testidan foydalandi:
BFCL (Berkeley funksiyalarni chaqirish reytingi)
IFBench (ko‘rsatmalarga rioya qilish testi)
AA-Omniscience (bilim va kognitiv qobiliyatlar testi)
GPQA Diamond (yuqori murakkablikdagi savol-javob testi)
MATH-500 (matematik masalalar testi).
Sinov modellari 4 bitli kvantlashdan keyingi hajmi 8 GB dan oshmaydigan modellar bo‘ldi. Jumladan, Gemma 4 E2B va LFM2-2.6B-Exp.
Kontekst uzunligi 16K token bilan cheklanganda, o‘rtacha benchmark ballari bo‘yicha Nanbeige4.2-3B va LFM2.5-2.6B eng yuqori natijani qayd etdi. Javob vaqti 1 daqiqadan oshmasligi sharti bilan LFM2.5-8B-A1B 1-o‘rinni egalladi. Keyingi o‘rinlarda LFM2-2.6B-Exp, Gemma 4 E4B (Non-reasoning) va Granite 4.1 8B joylashdi.
Nanbeige4.2-3B BOSS Zhipin kompaniyasiga qarashli Nanbeige laboratoriyasi tomonidan ishlab chiqilgan. Unda atigi 3 milliard noembed parametr mavjud (jami parametrlar taxminan 4 milliard). Model Looped Transformer arxitekturasidan foydalanadi: parametrlar sonini oshirmagan holda Transformer qatlamlarini ikki marta takroran qo‘llash orqali samarali hisoblash chuqurligi va sig‘imini oshiradi.
Tegishli skrinshotlar quyida keltirilgan:
