Thinking Machines Lab은 어제(7월 30일) 블로그 게시물을 통해 Inkling-Small 모델을 출시했다고 발표했다. 이 모델은 Inkling에 필적하는 성능을 내면서 규모는 약 4분의 1로 줄였다.
Inkling은 ‘미국 최강 오픈소스 AI 모델’로 불리며, 혼합 전문가(MoE) 아키텍처를 채택했다. 총 매개변수는 975B, 활성 매개변수는 41B이며, 최대 컨텍스트 길이는 1M 토큰이다.
이번에 출시된 Inkling-Small 모델 역시 혼합 전문가(MoE) 아키텍처를 채택했다. 총 매개변수는 276B, 활성 매개변수는 12B로, 규모는 Inkling의 약 1/4이며 NVIDIA GB300 NVL72 시스템에서 학습됐다.
Inkling과 마찬가지로 Inkling-Small은 오디오와 이미지의 네이티브 추론, 가변적 사고 강도, 최대 1M 토큰 컨텍스트 창을 지원하며, 다양한 벤치마크에서 균형 잡힌 성능을 유지한다.
Thinking Machines는 Inkling-Small의 전체 가중치를 공개했으며, 이를 Tinker 미세 조정 서비스에 연동하고 Tinker Playground에서 텍스트, 이미지 및 오디오 채팅 기능을 제공한다.
Thinking Machines는 Inkling-Small이 더 적은 연산량으로 Inkling에 가까운 성능을 달성한다고 밝혔다. 에이전트 도구 사용, 추론 및 지시 따르기 테스트에서 Inkling-Small의 효율은 Inkling보다 높았으며, 동일한 가중치 규모의 다른 모델과 경쟁할 수 있다.
추론 및 에이전트 작업에서 Inkling-Small은 Inkling과 동등하거나 더 뛰어난 성능을 보였다. Humanity’s Last Exam 테스트에서 Inkling-Small은 31.6%를 기록해 Inkling의 29.7%를 웃돌았다. Thinking Machines는 각 사고 예산에서 Inkling-Small의 테스트 시점 연산량 곡선이 모두 Inkling보다 높다고 밝혔다.
