MAGI-2-preview – Sand.ai 오픈 소스 멀티모달 동영상 생성 모델 운영 중

MAGI-2-preview는 Sand.ai가 오픈 소스로 공개한 세계 최초의 1,000억 개 매개변수 규모 MoE 멀티모달 동영상 생성 모델입니다. 전체 매개변수는 114B이며 활성화되는 매개변수는 6B에 불과합니다. 이 모델은 단일 스트림 아키텍처를 계승해 텍스트, 동영상, 오디오를 하나의 Transformer에서 통합적으로 공동 모델링하며, 네이티브 멀티모달 생성을 구현합니다. AA 동영상 생성 순위에서 6위를 차지했습니다. 모델 코드와 사전 학습 가중치가 공개되어 동영상 생성 분야의 효율적인 Scaling을 위한 새로운 경로를 검증합니다.

멀티모달 동영상 생성: 텍스트, 이미지, 동영상 간 생성과 동영상 간 변환을 지원하며, 오디오 이해를 네이티브로 통합합니다.
MoE 희소 활성화: 총 114B 매개변수 중 6B만 활성화해 추론 비용을 크게 줄입니다.
단일 스트림 통합 아키텍처: 기존의 cross-attention 연결 방식을 없애고, 첫 번째 레이어부터 영상과 음성을 함께 모델링합니다.
효율적인 Scaling: 동영상 생성 시나리오에 맞춰 MoE 통신과 학습 안정성을 재구성해 초장 시퀀스에서 발생하는 GPU 간 통신 병목을 해결합니다.

WeChat에서 팔로우한 후 “오픈 소스”라고 답장하여 AI 오픈 소스 프로젝트 교류 그룹에 참여하세요.
MoE 혼합 전문가 아키텍처: 모델의 총 용량은 114B이며, 한 번의 순전파에서 6B 매개변수만 활성화해 용량과 연산을 분리합니다.
단일 스트림 Transformer: 텍스트, 동영상, 오디오 토큰이 입력층부터 동일한 Transformer에 들어가며, 자기어텐션을 통해 모달리티 간 정보를 직접 교환합니다. 다중 타워 연결 아키텍처보다 영상과 음향의 동기화 세부 정보를 포착하는 데 유리합니다.
분산 통신 최적화: 동영상의 초장 시퀀스 특성에 맞춰 전문가 병렬 처리에서 토큰 라우팅과 통신 전략을 재구성해 GPU 간 데이터 전송 오버헤드를 줄였습니다.
학습 안정성 방안: 동적 라우팅, 전문가 부하 균형, 멀티모달 데이터 공동 학습을 결합한 3중 안정성 보장 메커니즘을 적용합니다.

환경 준비: GitHub 저장소 SandAI-org/MAGI-2-preview를 복제하고 README에 따라 종속성을 구성합니다.
가중치 다운로드: GitHub Releases에서 사전 학습 가중치를 받습니다.
추론 실행: 구성 파일과 스크립트 매개변수를 수정합니다. t2v / i2v / v2v 세 가지 모드를 지원하며, MAGI-1의 run.sh 형식을 참고해 실행합니다.
하드웨어 요구 사항: 구체적인 구성은 공식 문서 업데이트를 기다려야 합니다. MAGI-1의 24B 멀티 GPU H100 또는 4.5B 단일 GPU 24GB VRAM 구성을 참고하는 것을 권장합니다.

상업적 이용이 가능한 오픈 소스: 모델은 Apache 2.0 라이선스를 사용하며, 사전 학습 가중치와 추론 코드가 완전히 공개되어 있습니다.
1,000억 규모 MoE의 최초 사례: 세계 최초로 성공적으로 오픈 소스로 공개된 1,000억 개 매개변수급 MoE 동영상 생성 모델로, 동영상 분야의 새로운 Scaling 경로를 검증합니다.
저비용·대용량: 6B 활성화 매개변수만으로 114B 모델을 구동해, 같은 규모의 밀집 모델보다 추론 비용이 훨씬 낮습니다.
네이티브 멀티모달: 단일 스트림 아키텍처를 통해 모델의 하위 계층부터 영상과 음성을 깊이 융합하여, 후처리 정렬로 인한 지연과 품질 저하를 방지합니다.

프로젝트 공식 웹사이트：https://sand.ai/blog/magi-2-preview
GitHub 저장소：https://github.com/SandAI-org/MAGI-2-preview
HuggingFace 모델 저장소：https://huggingface.co/sand-ai/MAGI-2-preview

장편 광고 및 숏폼 드라마: MoE의 대용량 처리 능력으로 복잡한 서사 모델링을 지원하며, 수분 길이의 일관된 스토리 동영상을 생성할 수 있습니다.
멀티모달 영상 사전 시각화: 네이티브 오디오 이해 기능을 통해 더빙, 음향 효과, 영상의 동기화된 생성과 편집을 구현합니다.
AI 동영상 학술 연구: 오픈 소스로 공개된 1,000억 개 매개변수급 동영상 MoE 가중치는 학계에 재현 가능한 Scaling 기준을 제공합니다.
기업 프라이빗 배포: Apache 2.0 라이선스를 기반으로 금융, 의료 등 민감한 산업에서 프라이빗 동영상 생성 기능을 구축할 수 있습니다.
실시간 스트리밍 생성: 희소 활성화로 추론 비용을 낮춰 저지연 실시간 동영상 생성과 라이브 스트리밍 시나리오를 지원할 수 있습니다.