Muse Spark Open 운영 중

Muse Spark Open은 Meta가 오픈 소스로 공개한 멀티모달 대규모 모델로, 희소 혼합 전문가 아키텍처를 사용합니다. 총 매개변수는 8,160억 개, 추론 1회당 활성화되는 매개변수는 420억 개이며, 100만 Token 컨텍스트를 지원합니다. 텍스트, 이미지, 비디오, 오디오를 처리할 수 있고 프로그래밍 및 Agent 작업에 중점을 둡니다. Muse Spark Open은 MLX 프레임워크를 기반으로 두 대의 M5 Ultra Mac Studio에서 로컬 실행할 수 있습니다. 종합 능력과 프로그래밍 능력은 MiMo-V2.6-Pro, GLM-5.3, Kimi K3 등 여러 중국산 오픈 소스 모델에 아직 뒤처집니다.

초장문 컨텍스트 이해: 100만 Token 컨텍스트 윈도우를 지원하여 매우 긴 문서와 코드베이스를 한 번에 처리할 수 있습니다.
네이티브 멀티모달 처리: 텍스트, 이미지, 비디오, 오디오 네 가지 모달리티의 입력을 수신하고 이해할 수 있습니다.
프로그래밍 능력: 버그 수정, 기능 추가, 프로젝트 빌드를 수행하여 복잡한 소프트웨어 엔지니어링 작업을 처리할 수 있습니다.
Agent 작업 실행: DaVinci Resolve를 조작해 비디오 편집을 완료하는 등 여러 단계의 추론 작업을 장시간 자율적으로 수행할 수 있습니다.
데스크톱 로컬 실행: MLX 프레임워크로 최적화되어 두 대의 M5 Ultra Mac Studio에서 전체 모델을 로컬로 실행할 수 있습니다.
다중 프레임워크 및 칩 지원: SGLang, vLLM, llama.cpp 등 주요 추론 프레임워크를 지원하며 NVIDIA, AMD, Apple, Intel 칩과 호환됩니다.
클라우드 API 호출: OpenRouter, Groq, Together AI 등의 플랫폼을 통해 API 형태로 사용할 수 있습니다.

WeChat에서 팔로우 후 “开源”라고 답장하면 AI 오픈 소스 프로젝트交流群에 참여할 수 있습니다.
희소 혼합 전문가(MoE) 아키텍처: 모델의 총 매개변수는 8,160억 개이며, 추론마다 약 420억 개의 매개변수만 활성화됩니다. 라우팅 메커니즘을 통해 각 Token을 소수의 전문가 네트워크에 할당하여 처리합니다. 이를 통해 모델 용량을 유지하면서 계산 비용을 크게 줄여 초대형 모델을 제한된 하드웨어에서 실행할 수 있습니다.
100만 Token 컨텍스트 윈도우: 효율적인 장시퀀스 처리 기술을 사용해 컨텍스트 윈도우를 100만 Token까지 확장합니다. 모델이 매우 긴 코드베이스, 여러 문서 또는 긴 비디오 정보를 한 번에 입력받을 수 있어 장시간 작업에 필요한 “기억”을 지원합니다.
통합 메모리 아키텍처 기반 분산 추론: Apple M5 Ultra의 통합 메모리 아키텍처는 각 Mac Studio의 통합 GPU가 최대 512GB 메모리를 사용하도록 지원합니다. 두 대를 합치면 약 1TB의 메모리와 1.2TB/s의 메모리 대역폭을 제공합니다. 새 MLX 프레임워크를 활용하면 두 장치가 하나의 슈퍼컴퓨터처럼 협력하여 8,160억 개 매개변수 모델 전체를 수용할 수 있습니다.
커스텀 GPU 커널 가속: Meta는 SGLang에 자동 튜닝이 가능한 커스텀 Helion GPU 커널을 제공합니다. NVIDIA 및 AMD GPU에서 커널 수준으로 1.03–3.95배 가속을 구현하고, AMD MI350에서는 엔드투엔드 성능을 약 3% 향상합니다.

접근 경로 확보: OpenRouter 또는 Together AI 등의 플랫폼에서 API를 통해 모델을 직접 호출합니다.
모델 가중치 다운로드: 로컬 배포가 필요하다면 Hugging Face에서 공개 가중치를 다운로드할 수 있습니다.
추론 프레임워크 선택: 하드웨어 환경에 따라 SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, Apple MLX, llama.cpp 또는 Unsloth 등의 프레임워크를 선택해 모델을 로드합니다.
하드웨어 환경 준비: 클라우드에서는 NVIDIA 또는 AMD GPU를 사용하고, 로컬 데스크톱에서는 M5 Ultra 칩이 탑재된 Mac Studio 두 대로 전체 모델을 실행할 수 있습니다.
호출 코드 작성: PyTorch 등의 프레임워크로 추론 스크립트를 작성하고, 텍스트, 이미지, 비디오 또는 오디오 프롬프트를 입력한 뒤 100만 Token 이내의 컨텍스트를 설정합니다.
Agent 작업 실행: API 또는 로컬 실행을 통해 프로그래밍, 비디오 편집 등의 다단계 Agent 워크플로를 구동합니다.

선도적인 규모: 총 매개변수는 8,160억 개이고 추론마다 420억 개만 활성화되며, 현재까지 Meta의 가장 강력한 미국 오픈 가중치 모델입니다.
초장문 컨텍스트: 100만 Token 컨텍스트 윈도우를 지원하여 매우 긴 문서와 대규모 코드베이스를 한 번에 처리할 수 있습니다.
네이티브 멀티모달: 텍스트, 이미지, 비디오, 오디오를 통합 처리하며 비디오 편집 등의 멀티모달 도구를 직접 구동할 수 있습니다.
데스크톱 로컬 실행: MLX 프레임워크로 최적화되어 두 대의 M5 Ultra Mac Studio에서 전체 모델을 실행할 수 있어 Agent 워크플로를 로컬로 가져올 수 있습니다.
개방형 생태계: 가중치가 완전히 공개되어 있고 SGLang, vLLM, llama.cpp 등 7개 주요 프레임워크를 지원하며 NVIDIA, AMD, Apple, Intel 칩과 호환됩니다.
높은 사용자 정의성: 개발자는 PyTorch를 기반으로 모델을 미세 조정하고 2차 개발을 진행할 수 있습니다.

프로젝트 공식 웹사이트: https://dev.meta.ai/resources/blog/build-with-muse-spark-open
Hugging Face 모델 저장소: https://huggingface.co/collections/meta-models/muse-spark-open

iOS 개발 및 유지보수: 오픈 소스 클라이언트 Ice Cubes의 버그를 수정하고 새 기능을 추가한 뒤 프로젝트 빌드를 완료합니다.
비디오 후반 편집: DaVinci Resolve를 조작해 영상을 프레임 단위로 검토하고, 우수한 장면을 선별해 세로형 영상으로 편집합니다.
대규모 코드베이스 검토: 100만 Token 컨텍스트로 전체 코드 저장소의 구조와 문제를 한 번에 분석합니다.
초장문 문서 처리: 수백 페이지 분량의 보고서나 논문을 한 번에 입력해 요약, 질의응답, 교차 비교를 수행합니다.
멀티모달 자료 이해: 텍스트, 이미지, 비디오, 오디오 콘텐츠를 동시에 분석하여 종합적인 콘텐츠 검토 또는 분석에 활용합니다.