Ngày 24 tháng 8, Artificial Analysis đăng bài viết công bố hợp tác với Liquid AI để phát hành bộ tiêu chuẩn đánh giá AI trên thiết bị di động, tập trung vào hiệu suất của các mô hình AI trên iPhone 17 Pro của Apple.
Trong đó, Artificial Analysis phụ trách hệ thống kiểm tra mức độ thông minh, còn Liquid AI phụ trách hệ thống kiểm tra hiệu năng suy luận. Hai bên sử dụng 5 bài kiểm tra tiêu chuẩn:
BFCL (bảng xếp hạng gọi hàm Berkeley)
IFBench (bài kiểm tra tuân thủ chỉ dẫn)
AA-Omniscience (bài kiểm tra kiến thức và nhận thức)
GPQA Diamond (bài kiểm tra hỏi đáp độ khó cao)
MATH-500 (bài kiểm tra các bài toán).
Đối tượng kiểm tra là các mô hình sau lượng tử hóa 4 bit có dung lượng không quá 8GB, chẳng hạn Gemma 4 E2B và LFM2-2.6B-Exp.
Khi giới hạn độ dài ngữ cảnh ở 16K token, Nanbeige4.2-3B và LFM2.5-2.6B đạt điểm trung bình cao nhất trong các bài kiểm tra tiêu chuẩn. Khi thời gian phản hồi được giới hạn tối đa 1 phút, LFM2.5-8B-A1B đứng đầu, tiếp theo là LFM2-2.6B-Exp, Gemma 4 E4B (Non-reasoning) và Granite 4.1 8B.
Nanbeige4.2-3B do Phòng thí nghiệm Nanbeige thuộc BOSS Zhipin phát triển, chỉ có 3 tỷ tham số không bao gồm tham số embedding (tổng cộng khoảng 4 tỷ tham số). Mô hình sử dụng kiến trúc Looped Transformer, tái sử dụng các lớp Transformer (lặp lại 2 lần) mà không tăng số lượng tham số, qua đó nâng cao độ sâu tính toán hiệu dụng và dung lượng của mô hình.
Ảnh chụp màn hình liên quan như sau:
