LFM2.5-24B-A2B 운영 중

LFM2.5-24B-A2B는 Liquid AI가 출시한 오픈 웨이트 추론 모델로, LFM2.5 시리즈의 플래그십입니다. 총 매개변수는 24B이며 토큰당 2.45B만 활성화하고, 40층 MoE 아키텍처를 사용해 131K 컨텍스트와 16개 언어를 지원합니다. LFM2.5-24B-A2B는 답변 전에 반드시 사고 사슬을 생성하며, 엣지 디바이스용 Agent에 최적화되었습니다. LiveClaw 점수 48.09로 매개변수가 50% 더 많은 Qwen3.6-35B-A3B를 앞섰고, M5 Max에서 디코딩 속도는 184 tok/s로 동급 MoE 모델보다 최대 1.7배 빠릅니다. 로컬 프라이빗 배포를 통한 추론 및 도구 호출 시나리오에 적합하며, 지식 집약적 작업에는 검색 기능을 함께 사용하는 것이 좋습니다.

엣지 디바이스용 Agent 추론: 개인 디바이스에서 빠르고 프라이빗하게 실행되는 지능형 에이전트를 위해 설계되었습니다.
순수 추론 모드: 답변 전에 명시적인 사고 사슬을 자동 생성해 낮은 활성화 비용으로 답변 품질을 높입니다.
함수 호출: 4단계 도구 호출 프로세스를 기본 지원하며 OpenClaw, Hermes Agent, Pi, OpenCode 등의 프레임워크에 바로 연결할 수 있습니다.
다양한 배포 형식: 네이티브, FP8, GGUF, ONNX, MLX-4bit 버전을 제공해 GPU, CPU, Apple Silicon 및 엣지 디바이스를 지원합니다.
긴 컨텍스트 처리: 131,072 tokens 컨텍스트를 지원해 긴 문서와 다중 턴 에이전트 추적을 처리할 수 있습니다.
다국어 기능: 영어, 중국어, 일본어, 한국어, 아랍어 등 16개 언어를 지원하며, 128K 어휘로 비라틴 언어 토큰화를 최적화했습니다.
빠른 추론: Apple M5 Max에서 184 tok/s로 동급 MoE보다 최대 1.7배 빠르며, 단일 B300에서 21K tok/s를 초과합니다.

WeChat에서 팔로우한 후 “开源”에 답장하면 AI 오픈소스 프로젝트 교류 그룹에 참여할 수 있습니다.
MoE 희소 활성화 아키텍처: 모델은 총 24B 매개변수로 구성되지만, 각 MoE 블록에는 64개의 전문가가 포함됩니다. 추론 시 top-4 라우팅을 통해 4개만 활성화하므로 토큰당 실제 계산량은 2.45B 매개변수에 불과합니다. 이는 “대용량, 저연산 비용”의 핵심입니다. 모델은 모든 지식을 저장하면서도 각 순전파에서는 일부만 사용하므로, 총 매개변수 수가 같은 모델보다 훨씬 낮은 추론 비용을 실현합니다.
혼합 레이어 설계: 컨볼루션 + GQA 40층 네트워크는 30개의 “이중 게이트 단기 컨볼루션 블록”과 10개의 GQA 혼합 레이어로 구성됩니다. 단기 컨볼루션은 로컬 시퀀스 특징을 효율적으로 추출하고, 어텐션 레이어는 장거리 의존성을 모델링합니다. 두 구조를 교차 배치해 선형 레이어의 효율적인 계산을 유지하면서도 긴 컨텍스트 처리 능력을 확보했습니다. 이는 LFM 아키텍처가 엣지 디바이스에서 빠르고 메모리를 적게 사용하는 구조적 기반이기도 합니다.
어휘집의 원위치 확장과 긴 컨텍스트 학습: 이전 세대 LFM2-24B-A2B의 핵심 아키텍처를 유지하면서 tokenizer를 원위치 확장해 어휘집을 65K에서 128K로 두 배 늘렸고, 중국어와 일본어 등 비라틴 언어의 token 효율을 크게 개선했습니다. 컨텍스트 창은 32K에서 131K로 확장되었으며, 300B tokens 규모의 긴 컨텍스트 전문 중간 학습을 통해 안정적인 장시퀀스 처리 능력을 확보했습니다.
3단계 학습 과정: 사전 학습에는 약 33T tokens가 사용됩니다. 중간 학습에서는 먼저 32K 컨텍스트에서 2T tokens 규모의 고품질 데이터로 추론, 수학, 코드 및 지시 준수 능력을 강화하고, 131K 컨텍스트에서 300B tokens를 사용해 긴 텍스트를 집중 학습합니다. 두 단계 모두 도구 호출과 다중 턴 상호작용 데이터를 포함합니다. 후속 학습은 SFT→교사 전문화→비 Agent 및 Agent 대상 2회 다중 도메인 동일 정책 증류→OpenClaw와 Hermes 등 실제 지능형 에이전트 프레임워크에서의 강화 학습으로 이어지는 5단계 파이프라인으로 진행되어, 모델이 실제 도구 환경에서 “사고-호출-검증”을 수행하도록 학습합니다.

모델 받기: Hugging Face에서 LiquidAI/LFM2.5-24B-A2B를 다운로드하고 하드웨어에 따라 네이티브 BF16, FP8, GGUF, ONNX 또는 MLX-4bit 버전을 선택합니다.
환경 설치: Python 환경에 transformers>=5.0.0을 설치하거나 vLLM, SGLang, llama.cpp, LM Studio 등의 추론 프레임워크를 배포합니다.
모델 로드: AutoModelForCausalLM.from_pretrained()를 사용해 bfloat16 정밀도로 모델을 로드합니다.
프롬프트 구성: tokenizer.apply_chat_template()을 사용해 대화에 ChatML 형식 템플릿을 자동으로 적용합니다.
매개변수 설정: 생성 시 공식 권장 매개변수인 temperature=0.1, top_k=50, repetition_penalty=1.05를 사용하고, 사고 사슬 작업에서는 max_new_tokens를 4096 이상으로 설정할 수 있습니다.
도구 호출 구성: 도구 목록을 JSON 형식으로 system prompt에 작성하면 모델이 <|tool_call_start|> 마커로 함수 호출을 출력하고, 실행 후 tool 역할로 결과를 반환합니다.
Agent 프레임워크 연결: OpenAI 호환 인터페이스로 로컬 서비스를 시작한 후 OpenClaw, Hermes Agent, Pi 또는 OpenCode 등의 지능형 에이전트 프레임워크에 연결합니다.

최고 수준의 효율성: 총 24B 매개변수 중 2.45B만 활성화하며, Apple M5 Max에서 184 tok/s로 동급 MoE보다 최대 1.7배 빠르고 메모리 사용량도 가장 적습니다.
작은 모델로 큰 모델을 능가: Agent 및 도구 벤치마크에서 매개변수가 50% 더 많은 Qwen3.6-35B-A3B와 대등한 성능을 보입니다. LiveClaw는 48.09 대 38.19를 기록했고, AutomationBench에서는 2위 모델보다 3배 이상 앞섰습니다.
전 과정 추론: 순수 사고 사슬 모델이 먼저 생각한 후 답변하며, 낮은 활성화 비용 덕분에 각 추론 token의 비용도 저렴합니다.
네이티브 Agent 기능: 출시 시점부터 OpenClaw, Hermes, Pi, OpenCode 등 주요 프레임워크에서 Agentic RL 학습을 완료했으며, 도구 호출을 즉시 사용할 수 있습니다.
개방적이고 제한 없음: 기반 모델과 후속 학습 모델 모두 가중치를 공개해 자유로운 다운로드, 미세 조정 및 상업적 이용이 가능합니다.
전 플랫폼 지원: llama.cpp, MLX, vLLM, SGLang, ONNX를 기본 지원하며 Apple, AMD, Qualcomm, NVIDIA 하드웨어와 호환됩니다.

HuggingFace 모델 저장소: https://huggingface.co/LiquidAI/LFM2.5-24B-A2B

엣지 디바이스 프라이빗 Agent: MacBook 등 개인 디바이스에서 로컬 지능형 에이전트를 상시 실행해 계획 수립, 도구 호출 및 작업 실행을 수행하며, 데이터가 디바이스 밖으로 나가지 않습니다.
오프라인/엣지 어시스턴트: GGUF, ONNX, MLX 형식으로 네트워크가 불안정하거나 연결되지 않은 환경(차량, 야외, 임베디드 단말)에 배포해 오프라인 추론 기능을 제공합니다.
지능형 도구 조정: OpenClaw, Hermes Agent, OpenCode 등의 프레임워크를 구동하는 모델로 활용해 정기 브리핑 생성, 파일 정리, 코드 작업 등 다단계 워크플로를 실행합니다.
업무 프로세스 자동화: ToolSandbox 및 τ³-Bench Banking에서의 강점을 활용해 은행, 채용, 주문 등 시스템 조회와 다중 확인이 필요한 업무 처리 대화를 수행합니다.