MAGI-2-preview – Sand.aiがオープンソース化したマルチモーダル動画生成モデル 運営中

MAGI-2-previewは、Sand.aiがオープンソース化した世界初の1,000億パラメータ級MoEマルチモーダル動画生成モデルです。総パラメータ数は114B、アクティブ化されるパラメータはわずか6Bです。モデルはシングルストリーム・アーキテクチャを継承し、テキスト、動画、音声を同一のTransformerに統合して共同モデリングすることで、ネイティブなマルチモーダル生成を実現し、AA動画生成ランキングで6位にランクインしています。モデルコードと事前学習済み重みは公開済みで、動画生成分野における効率的なスケーリングの新たな道筋を示しています。

マルチモーダル動画生成：テキスト、画像、動画から動画への生成に対応し、音声理解をネイティブに統合します。
MoEスパース活性化：総パラメータ114Bのうち、アクティブ化されるのはわずか6Bで、推論コストを大幅に削減します。
シングルストリーム統合アーキテクチャ：従来のcross-attentionによる結合方式を廃止し、初層から映像と音声を共同モデリングします。
効率的なスケーリング：動画生成向けにMoEの通信と学習安定性を再設計し、超長系列におけるGPU間通信のボトルネックを解消します。

WeChatでフォローして「开源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます。
MoE混合専門家アーキテクチャ：モデルの総容量は114Bに達し、1回の順伝播でアクティブ化されるのは6Bパラメータのみです。容量と計算量を分離します。
シングルストリームTransformer：テキスト、動画、音声のトークンを入力層から同一のTransformerに投入し、自己注意機構によってモダリティ間の情報を直接交換します。マルチタワー結合アーキテクチャと比べ、映像と音声の同期に関する細部を捉えやすくなります。
分散通信の最適化：動画の超長系列特性に対応するため、専門家並列処理におけるトークンのルーティングと通信戦略を再設計し、GPU間のデータ転送コストを削減します。
学習安定性のための仕組み：動的ルーティング、専門家の負荷分散、マルチモーダルデータの共同学習という3つの安定化メカニズムで学習を支えます。

環境準備：GitHubリポジトリSandAI-org/MAGI-2-previewをクローンし、READMEに従って依存関係を設定します。
重みのダウンロード：GitHub Releasesから事前学習済み重みを取得します。
推論の実行：設定ファイルとスクリプトのパラメータを変更し、t2v / i2v / v2vの3モードに対応します。MAGI-1のrun.sh形式を参考に実行してください。
ハードウェア要件：具体的な構成は公式ドキュメントの更新待ちです。MAGI-1の24B・複数H100構成、または4.5B・単一GPU・24GB VRAM構成を参考にすることを推奨します。

オープンソースで商用利用可能：モデルはApache 2.0ライセンスを採用し、事前学習済み重みと推論コードを完全に公開しています。
1,000億級MoEの先駆け：世界で初めて成功裏にオープンソース化された1,000億パラメータ級MoE動画生成モデルであり、動画分野におけるスケーリングの新たな道筋を検証します。
低コストで大容量：6Bのアクティブパラメータで114Bモデルを駆動でき、同規模の密モデルより推論コストが大幅に低くなります。
ネイティブなマルチモーダル：シングルストリーム・アーキテクチャにより、音声と映像をモデルの基盤レベルで深く融合し、後段のアライメントによる遅延や品質低下を回避します。

公式サイト：https://sand.ai/blog/magi-2-preview
GitHubリポジトリ：https://github.com/SandAI-org/MAGI-2-preview
HuggingFaceモデルリポジトリ：https://huggingface.co/sand-ai/MAGI-2-preview

長編動画広告・ショートドラマ：MoEの大容量により複雑な物語のモデリングに対応し、数分間にわたる一貫したストーリー動画を生成できます。
マルチモーダル映像制作のプリビジュアライゼーション：ネイティブな音声理解により、ナレーション、効果音、映像を同期させた生成・編集を実現します。
AI動画の学術研究：オープンソースの1,000億級動画MoE重みを提供し、学術界に再現可能なスケーリングのベースラインを提供します。
企業向けオンプレミス展開：Apache 2.0ライセンスに基づき、金融、医療などの機密性が求められる業界で、プライベートな動画生成機能を構築できます。
リアルタイムストリーミング生成：スパース活性化によって推論コストを削減し、低遅延のリアルタイム動画生成やライブ配信のシーンを支援できます。