Artificial Analysis ilichapisha makala ya blogu tarehe 24 Agosti, ikitangaza ushirikiano na Liquid AI kuzindua kipimo cha utendaji wa AI kwa simu, kikilenga hasa utendaji wa miundo ya AI kwenye iPhone 17 Pro ya Apple.
Artificial Analysis inahusika na mfumo wa kupima kiwango cha akili, huku Liquid AI ikihusika na mfumo wa kupima utendaji wa uelekezaji. Pande hizo mbili zilitumia vipimo 5 vya utendaji:
BFCL (orodha ya Berkeley ya upigaji wa vitendaji)
IFBench (kipimo cha kufuata maagizo)
AA-Omniscience (kipimo kinachohusiana na maarifa na utambuzi)
GPQA Diamond (kipimo cha maswali na majibu magumu)
MATH-500 (kipimo cha maswali ya hisabati).
Miundo iliyopimwa ni ile ambayo, baada ya kupunguzwa kwa quantization ya biti 4, ina ukubwa usiozidi GB 8. Mifano ni pamoja na Gemma 4 E2B na LFM2-2.6B-Exp.
Baada ya urefu wa muktadha kuwekwa kuwa tokens 16K, Nanbeige4.2-3B na LFM2.5-2.6B zilipata wastani wa juu zaidi katika vipimo. Muda wa majibu ulipowekwa kuwa usiozidi dakika 1, LFM2.5-8B-A1B ilishika nafasi ya 1, ikifuatiwa na LFM2-2.6B-Exp, Gemma 4 E4B (Non-reasoning) na Granite 4.1 8B.
Nanbeige4.2-3B ilitengenezwa na Maabara ya Nanbeige chini ya BOSS Zhipin. Ina vigezo visivyo vya embedding bilioni 3 pekee (jumla ya vigezo takriban bilioni 4), na hutumia usanifu wa Looped Transformer. Kwa kutumia tena tabaka za Transformer mara mbili bila kuongeza idadi ya vigezo, huongeza kina na uwezo wa ufanisi wa ukokotoaji wa modeli.
Picha za skrini husika ni kama ifuatavyo:
