DuoMatching 運営中

DuoMatchingは、香港中文大学MMLabとByteDanceが共同で開発した、少ステップ動画生成蒸留フレームワークです。DuoMatchingは動画教師によって時間的一貫性を保証しながら、凍結された画像モデルを導入して単一フレームの画質と意味整合性を監督します。LatentBridgeで潜在空間を接続し、LVSで重要な監督フレームを選択することで、映像の細部とプロンプトへの追従性を改善します。DuoMatchingは推論コストを増加させず、2ステップ生成でVBench総合スコア83.53を達成します。

単一フレームの画質向上：少ステップ動画生成で発生する髪の毛、テクスチャ、素材などの細部のぼやけや欠落を改善します。
意味整合性の強化：プロンプトへの追従能力を高め、物体の欠落や色の誤りなどを減らします。
時間的表現の維持：単一フレームの品質を最適化しながら、動画のフレーム間の一貫性と動きの能力を基本的に維持します。
少ステップ生成に対応：2ステップ、4ステップなどの低遅延動画生成に利用でき、リアルタイムまたはインタラクティブなアプリケーションのニーズに対応します。
推論コストを増加させない：画像教師は学習時のみ使用され、デプロイ後の学生モデルで画像モデルを追加実行する必要はありません。

WeChatでフォローして「开源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます
同時分布と周辺分布の二重マッチング：DuoMatchingは従来の同時DMDに加えて周辺DMDを導入します。動画教師は動画全体の同時分布のマッチングを担当し、時間的整合性と動きの品質を維持します。凍結された画像教師はサンプリングフレームの周辺分布のマッチングを担当し、単一フレームの画質と意味整合性を向上させます。両方の損失を用いて学生モデルを共同学習し、周辺損失のデフォルト重みは0.4です。
LatentBridgeによる動画と画像の潜在空間の接続：動画VAEと画像VAEではlatent構造に互換性がないため、DuoMatchingは約1075万パラメータのLatentBridgeを使用し、動画latentのスライスを画像教師のlatent空間へ直接マッピングします。このモジュールはL1再構成損失によって事前学習され、いったんRGBにデコードしてから再エンコードすることによる高いGPUメモリ消費を回避し、画像教師が動画学生モデルを効果的に監督できるようにします。
LVSによるフレーム単位の監督サンプリングの最適化：Latent Variation Samplingは、隣接するlatentスライスの変化量に基づいて動画区間を分割し、各区間から監督フレームを選択します。デフォルトでは動画ごとに4つのlatentスライスをサンプリングします。ランダムサンプリングと比べて、静止画面に監督が集中することを抑え、限られたフレーム単位の監督予算を、より変化の大きい内容に配分できます。

実行環境を準備：CUDAに対応したNVIDIA GPUを用意し、Python 3.10環境を構成します。
プロジェクトをダウンロードしてインストール：DuoMatchingリポジトリをクローンし、PyTorch、FlashAttentionおよびプロジェクトに必要な依存関係をインストールします。
モデルファイルをダウンロード：Wan2.1-T2V-1.3Bの基本コンポーネントとDuoMatching公式重みを取得し、リポジトリのデフォルトディレクトリに配置します。
プロンプトを準備：UTF-8のテキストファイルを新規作成し、各行に1つのプロンプトを記入します。公式のprompts/demos.txtを直接使用することもできます。
動画生成を開始：inference.pyを実行し、コマンドで推論設定、モデル重み、プロンプトファイル、出力ディレクトリを指定します。
生成結果を確認：出力ディレクトリから動画を取得します。公式サンプルではデフォルトで21フレームを生成し、出力フレーム数と乱数シードを設定できます。

単一フレームの画質を大幅に向上：独立したフレーム単位の監督により、少ステップ生成で発生する髪の毛、テクスチャ、素材などの細部の欠落を改善します。
プロンプトへの追従性がより正確：画像モデルの意味的事前知識を活用し、物体の欠落、色の誤り、構図のずれを減らします。
推論コストを増加させない：画像教師は学習時のみ使用され、デプロイ後の学生モデルで推論ステップや追加計算を増やす必要はありません。
画質と動きの能力を両立：視覚品質と意味整合性を向上させながら、動画の時間的一貫性と動きの表現を基本的に維持します。
画像モデルの進歩を継続的に活用可能：より強力な画像教師に置き換えることで学生モデルをさらに向上できる可能性がありますが、通常は対応するLatentBridgeの再学習が必要です。

プロジェクト公式サイト：https://johnzhan2023.github.io/DuoMatching/
GitHubリポジトリ：https://github.com/JohnZhan2023/DuoMatching
HuggingFaceモデル： https://huggingface.co/JohnZhan/DuoMatching
arXiv技術論文：https://arxiv.org/pdf/2610.03543

リアルタイムインタラクションとライブ生成：少ステップ・低遅延という特性を活用し、デジタルヒューマン、バーチャル配信者、インタラクティブ配信向けに動作や表情の動画を迅速に生成します。
広告・ECコンテンツ制作：製品の素材、色、指定物体の生成精度を高め、広告映像とクリエイティブプロンプトの不一致を減らします。
ショートドラマ・アニメーションのプレビュー：絵コンテや動的サンプルを迅速に生成し、クリエイターによるキャラクターの動き、カメラ設計、視覚効果の低コストな検証を支援します。
ゲーム・仮想世界のコンテンツ生成：ゲームのカットシーン、キャラクターの動作、仮想シーン向けに動画プロトタイプを迅速に提供し、インタラクティブコンテンツの生成効率を改善します。
高並列動画生成サービス：追加の推論コストを増加させずに少ステップモデルの画質を向上させ、生成速度、サービスコスト、出力品質の両立が必要なプラットフォームに適しています。