VDN-MiniMax-H3 運営中

VDN-MiniMax-H3は、OpenVDNチームがオープンソースで公開する動画生成高速化ソリューションで、MiniMax-H3をベースに改良されています。モデルにはハイブリッド注意機構を採用し、局所的なスライディングウィンドウSoftmaxで精細なディテールを保持し、遠距離の線形注意機構で長距離コンテキストを処理します。さらに、8ステップ蒸留によってノイズ除去ステップ数を大幅に削減しています。8枚のNVIDIA B200上で、約14.4秒の768p動画をわずか11.23秒で生成でき、画質は元の50ステップDense H3とほぼ無損失です。

ハイブリッド注意機構：動画の注意処理を局所Softmax分岐と遠距離線形分岐に分割し、精細なディテールと長距離コンテキストを両立します。
8ステップの高速生成：DMD2蒸留によりノイズ除去ステップ数を50ステップから8ステップに圧縮し、生成時間を大幅に短縮します。
ほぼ無損失の画質：14.4秒の動画を11.23秒で生成しながら、視覚品質は元の50ステップDense H3ベースラインに近い水準を維持します。
3段階の学習適応：層ごとのアライメント、エンドツーエンドの分岐適応、LoRAの共同適応を採用し、ランダム初期化による事前学習モデルへの影響を回避します。
分岐専用並列化：Softmax分岐と線形分岐を異なるGPUに割り当て、標準的なUlysses並列化と比べてレイテンシをさらに13.3%削減します。

WeChatでフォローして「开源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます。
ハイブリッド注意機構：VDNは動画の注意処理を、局所Softmaxと遠距離線形という相補的な2つの分岐に分割します。前者は精細なディテールを保持し、後者は線形計算量で長距離コンテキストを処理することで、完全な二次計算量の注意機構を置き換えます。
局所Softmax分岐：双方向スライディングウィンドウを採用し、5フレームごとに近傍ブロックを参照します。さらに先頭フレームと末尾フレームを境界アンカーとして導入し、注意密度をわずか3.57%増加させるだけで、全体の時間的一貫性を維持します。
Video Delta Attention：従来のトークン単位のDelta Ruleをフレーム単位の同時解法へ拡張します。正規方程式によって、すべての空間トークンが共同で新しい状態を決定するため、自然に非拡張的で、トークン間の相関にも適応できます。固定的なフレームサイズのスケーリングは必要ありません。
テキストの二分岐注入：Softmax分岐では、各フレームからテキスト全体を参照できます。一方、線形分岐では初期化時にテキストを双方向状態へ一括で書き込み、重複計算を回避します。
ゲート融合機構：2つの分岐は出力スケールが異なるため、それぞれにコンテンツ依存のSigmoidゲートと独立した出力投影を備えたうえで統合します。学習前半の2段階ではSoftmaxゲートを凍結し、元の分岐の出力を抑えることでオプティマイザーが損失を下げることを防ぎます。
3段階の学習適応：まず線形分岐を層ごとにアライメントし、次にすべての混合モジュールをエンドツーエンドで共同最適化します。最後にQKVO LoRAと線形分岐を共同で微調整します。全工程で事前学習済みの主幹を凍結し、生成品質の大幅な低下を防ぎます。

環境の準備：GitHubリポジトリをクローンした後、Python 3.12環境を作成し、PyTorch 2.13.0とプロジェクトの依存関係をインストールします。
モデルのダウンロード：ModelScopeを使用してOpenVDN/vdn-minimax-h3の重みをローカルのckptsディレクトリへダウンロードします。
公式サンプルの実行：scripts/inference/8nfe_tuned_fp8.shを実行すると、単一GPUでサンプル動画を生成できます。
マルチGPU推論：ハードウェアに応じて8nfe_tuned_fp8_ulysses_h200.shまたはb200.shを選択し、8枚のGPUで実行します。
カスタムプロンプト：encode_prompt.pyでQwen3-VL-32Bを呼び出してテキストを.pt特徴ファイルにエンコードし、その後infer.pyに渡して動画を生成します。

高速生成：8ステップ蒸留とハイブリッド注意機構により、8枚のB200上で約14.4秒の768p動画をわずか11.23秒で生成でき、元のモデルより74.5倍高速です。
ほぼ無損失の画質：視覚的ディテール、主体の一貫性、指示への追従能力は50ステップDense H3ベースラインに近く、4ステップのFastH3を大きく上回ります。
ハイブリッド注意機構：局所Softmaxで精細な時間的ディテールを保持し、遠距離線形注意機構で長距離コンテキストを線形計算量で処理することで、品質と効率を両立します。
フレーム単位の同時解法（VDA）：トークン単位の更新をフレーム単位の共同最適化へ拡張し、自然に非拡張的でトークン間の相関にも適応できます。固定的なスケーリングは必要ありません。
段階的で安定した適応：層ごとのアライメント、エンドツーエンドの分岐適応、LoRA共同微調整という3段階の学習により、ランダム初期化による事前学習モデルへの影響を回避します。
分岐専用並列化：Softmax分岐とVDA分岐を異なるGPUに割り当てて実行し、標準的なUlysses並列化と比べてレイテンシをさらに13.3%削減します。

プロジェクト公式サイト：https://openvdn.github.io/
GitHubリポジトリ：https://github.com/OpenVDN/vdn-minimax-h3
HuggingFaceモデルリポジトリ：https://huggingface.co/OpenVDN/vdn-minimax-h3

リアルタイムのインタラクティブ動画制作：8ステップの高速生成により、クリエイターはプロンプトをリアルタイムで調整し、結果を即座にプレビューできます。アイデアの反復サイクルを大幅に短縮します。
広告・マーケティング素材の一括制作：EC事業者やブランドは、複数バージョンの商品紹介動画や動的ポスターを迅速に生成でき、祝祭日や大型セールなど頻繁な素材需要に対応できます。
映像作品のプリビズと動的絵コンテ：監督や制作チームは本撮影前に絵コンテアニメーションを素早く生成し、ショットの表現、シーン構成、物語のテンポを検証できます。
ゲームの動的コンテンツ生成：オープンワールドゲームやバーチャルソーシャルプラットフォーム向けに、NPCアニメーション、環境トランジション、プレイヤーごとのストーリーシーンをリアルタイムで生成します。
SNSショート動画の工業化：MCN事業者や個人クリエイターは、低コストかつ高並列で、ショートドラマやバーチャルキャラクターのVlogなどを制作できます。