Artificial Analysis는 8월 24일 블로그 게시물을 통해 Liquid AI와 협력해 스마트폰용 AI 벤치마크를 출시한다고 발표했으며, 애플 iPhone 17 Pro에서 AI 모델의 성능을 집중적으로 평가했다.
Artificial Analysis는 지능 수준 테스트 시스템을, Liquid AI는 추론 성능 테스트 시스템을 담당했으며, 양측은 다음 5개 벤치마크를 사용했다.
BFCL(버클리 함수 호출 순위표)
IFBench(지시사항 준수 테스트)
AA-Omniscience(지식 및 인지 관련 테스트)
GPQA Diamond(고난도 질의응답 테스트)
MATH-500(수학 문제 테스트)
테스트 대상은 4비트 양자화 후 용량이 8GB 이하인 모델이며, 예시로 Gemma 4 E2B와 LFM2-2.6B-Exp가 포함됐다.
컨텍스트 길이를 16K 토큰으로 제한했을 때 평균 벤치마크 점수가 가장 높은 모델은 Nanbeige4.2-3B와 LFM2.5-2.6B였다. 응답 시간을 최대 1분으로 제한했을 때는 LFM2.5-8B-A1B가 1위를 차지했으며, 그 뒤를 LFM2-2.6B-Exp, Gemma 4 E4B(Non-reasoning), Granite 4.1 8B가 이었다.
Nanbeige4.2-3B는 BOSS 즈핀 산하 난베이거 실험실이 개발했다. 임베딩을 제외한 파라미터는 30억 개(총 파라미터 약 40억 개)에 불과하며, Looped Transformer 아키텍처를 적용했다. 파라미터 수를 늘리지 않고 Transformer 레이어를 두 차례 재사용해 모델의 유효 연산 깊이와 용량을 높였다.
관련 스크린샷은 다음과 같다.
