Artificial Analysisは8月24日、Liquid AIとの提携を発表し、スマートフォン向けAIベンチマークを公開した。AIモデルのApple iPhone 17 Proにおける性能に焦点を当てている。
Artificial Analysisは知能レベルのテストシステムを、Liquid AIは推論性能のテストシステムを担当し、両社は5つのベンチマークテストを採用した。
BFCL（Berkeley関数呼び出しランキング）
IFBench（指示追従テスト）
AA-Omniscience（知識・認知関連テスト）
GPQA Diamond（高難度質問応答テスト）
MATH-500（数学問題テスト）。
テスト対象は、4 bit量子化後のサイズが8GB以下のモデルで、例としてGemma 4 E2BやLFM2-2.6B-Expが挙げられている。
コンテキスト長を16K tokensに制限した場合、平均ベンチマークスコアが最も高かったのはNanbeige4.2-3BとLFM2.5-2.6Bだった。応答時間を最長1分に制限した場合は、LFM2.5-8B-A1Bが1位となり、続いてLFM2-2.6B-Exp、Gemma 4 E4B（Non-reasoning）、Granite 4.1 8Bがランクインした。
Nanbeige4.2-3Bは、BOSS直聘傘下の南北閣実験室が開発したモデルで、埋め込みを除くパラメーター数は30億（総パラメーター数は約40億）にとどまる。Looped Transformerアーキテクチャを採用し、パラメーター数を増やさずにTransformer層を再利用（2回ループ）することで、モデルの実効的な計算深度と容量を高めている。
関連するスクリーンショットは以下のとおり。
