InstructAV2AV – 智源と北京大学が共同オープンソース化した音声・映像統合編集モデル 運営中

InstructAV2AVは、北京智源人工知能研究院と北京大学が共同で開発・公開した音声・映像統合編集モデルです。ユーザーは自然言語による一文の指示だけで、エンドツーエンドの生成過程において映像と対応する音声を同時に編集でき、手動マスクや段階的な処理は必要ありません。モデルは台詞の変更、人物の置き換え、オブジェクトの追加・削除に対応し、背景や環境音を維持しながら、映像と音声の時間的な同期を保ちます。

人物の同一性を維持した音声編集：人物の外見を保ったまま、話す内容だけを置き換えます。
音声・映像インスタンスの置き換え：映像内の指定した人物を、音声や台詞ごと置き換えます。
インスタンスの追加：映像に新しいオブジェクトを追加し、それに同期した音声を自動生成します。
インスタンスの除去：指定したオブジェクトと、音声トラック内の対応する音声を削除します。
属性の組み合わせ編集：人物の外見、話す内容、声質をそれぞれ独立して変更し、自由に組み合わせられます。

WeChatでフォローし、「オープンソース」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます。
ソース潜在変数の連結：元の映像と音声の潜在変数をノイズとチャネル方向に連結し、元のコンテンツをデノイズ過程全体の構造条件にします。これにより、背景、無関係なオブジェクト、環境音の保持をモデルに促し、「1つの対象を変更するだけで、世界全体を再描画する」ことを防ぎます。
SIGAゲート付き注意機構：Source-Instruction Gated Attentionにより、各トークンがソース特徴と指示特徴の双方と同時に相互作用します。学習可能なソフトゲートによって位置ごとに変更量と保持量を決定し、コンテンツの保持と指示の実行を動的に両立します。
二流相互作用アーキテクチャ：Oviの対称二流拡散Transformerを基盤とし、映像・音声分岐でそれぞれ自己注意によるモデリングを行った後、双方向のクロスモーダル注意機構で特徴を交換します。これにより、視覚的な動きと音声イベントが相互に制約し合い、同期を維持します。
2段階学習：クロスモーダル注意機構を無効にして各モダリティの編集能力を個別に学習した後、完全なアーキテクチャに戻して共同微調整を行い、映像と音声の細粒度な対応関係を学習します。
自動データパイプライン：素材の選別、編集対象の合成、5次元による自動評価と人手による確認の3段階を通じてInsAVE-80Kデータセットを構築し、ペア学習データの不足を解決します。

コードをクローン：GitHubからInstructAV2AVのコードリポジトリをローカルにクローンします。
環境を構築：リポジトリの説明に従ってPython環境を構築し、必要な依存関係をインストールします。
重みをダウンロード：Hugging FaceからInstructAV2AVのモデル重みをダウンロードします。
素材を準備：音声付きの動画素材を入力として用意します。
指示を入力：変更したい内容を説明する自然言語の編集指示を一文で入力します。
推論を実行：推論スクリプトを実行し、モデルが編集後の動画と音声を生成するまで待ちます。
結果を保存：出力結果を確認し、編集済みの音声・映像ファイルを保存します。

プロジェクト公式サイト：https://hjzheng.net/projects/InstructAV2AV/
GitHubリポジトリ：https://github.com/suimuc/InstructAV2AV
HuggingFaceモデルリポジトリ：https://huggingface.co/suimu/InstructAV2AV
arXiv技術論文：https://arxiv.org/pdf/2605.18467

映画・映像のポストプロダクション：映像制作スタッフが俳優の台詞を置き換え、口の動きと同期させることで、再撮影のコストを削減できます。
ショート動画制作：ショート動画のクリエイターが一言の指示で素材内の人物や音声を変更し、制作効率を高められます。
バーチャルヒューマン：バーチャルヒューマンの運用チームがデジタルキャラクターの外見、声質、話す内容を調整できます。
広告クリエイティブ：広告関係者が異なる人物や台詞の宣伝動画を一括生成できます。
インタラクティブコンテンツ制作：ゲームや教育分野の担当者が、音声と映像の整合したマルチメディア素材を動的に生成できます。