Wan-Animate-2 – Wanxiangチームがオープンソース化した次世代キャラクターアニメーションモデル 運営中

Wan-Animate-2は、Wanxiangチームがオープンソース化した次世代キャラクターアニメーションモデルです。Wan-Animateの大幅なアーキテクチャアップグレードとして、明示的なポーズ骨格や補助的なポーズ抽出ネットワークへの依存を廃止し、エンドツーエンドのデュアルブランチDiffusion Transformer（DiT）へと変更しています。参照動画からモーションの事前情報を直接捉え、テキストによる視点制御にも対応します。最大24 fpsのリアルタイムストリーミング変種も提供されています。

駆動動画からキャラクターアニメーションへの変換：参照画像reference.pngと駆動テンプレート動画template.mp4を入力し、参照キャラクターに駆動動画の動きとカメラテンポを再現させます。
エンドツーエンドのモーション転送：再設計されたDiTが駆動動画を直接処理し、中間モーション抽出器を介さないことで、モーションの忠実度とアイデンティティの一貫性を同時に高めることを目指します。
アイデンティティ／外観の保持：reference image tokenとreference video tokenを注意機構の計算に組み込み、参照する外観を生成プロセスに注入します。「動きは似ているのに顔が崩れる」状況を減らせます。
テキストの規格化制御：推論前にLLMで定型形式のcaptionを生成します。「人物の外観説明＋背景説明」のみを記述し、動作の説明や感情の推測は行わず、Wan-Animate-2のpromptとして使用します。
テキストによる視点制御：テキストで出力カメラの視点と駆動動画を切り離して制御できます。「同じ動作を異なるカメラ位置／視点で」生成する際に便利です。
Base高品質モード：デフォルトの推論スクリプトは通常設定で動作し、公式のDiffusers例ではnum_inference_steps=40です。品質を優先したモードです。
Distillation低ステップモード：蒸留済み重みの例では10 steps、guidance_scale=1.0、Euler solver／no CFGを使用し、より高速な生成と低遅延の検証を想定しています。
リアルタイム化に向けた先進機能：論文ではWan-Animate-2-Liteを提案しています。teacher forcing、error buffer、Self-Forcing蒸留、chunk-wise逆伝播により、遅延をリアルタイムのしきい値に近づけ、ストリーミングキャラクターアニメーションを目指します。
ローカル／オンライン体験：ローカル用Gradioスクリプトを提供しています。Base版はwan_animate_2_gradio.py、蒸留版はwan_animate_2_gradio_distillation.pyを使用します。READMEからModelScope Studioのオンラインデモにもアクセスできます。
エンジニアリングエコシステムへの入口：重みはHuggingFace／ModelScopeで提供され、モデルIDの例はWan-AI/Wan2.2-Animate-2-14Bです。Diffusersはソースからインストールして接続でき、ComfyUI／DiffSynth-Studioは現在Todoです。
並列生成の設定：デフォルトでは8×A800、720P向けに調整されており、2×A800、480Pでもテストされています。ハードウェアが異なる場合はYAMLの並列設定を変更する必要があります。

WeChatでフォローして「開源」と返信し、AIオープンソースプロジェクトの交流グループに参加します。
ハードウェアの準備：まず公式のデフォルトである8×A800、720Pを基準に計画します。公式では2×A800、480Pもテストされていますが、一般向けGPUの単一カードで動作すると想定しないでください。
リポジトリをクローン：git clone --recursive https://github.com/Wan-Video/Wan-Animate-2.git。
環境構築：Python 3.11を使用し、torch 2.7.0／torchvision 0.22.0／torchaudio 2.7.0をCUDA 12.6の配布元からインストールします。その後requirements.txt、flash-attnをインストールし、最後にpip install -e .を実行します。
重みのダウンロード：HuggingFaceではhuggingface-cli download Wan-AI/Wan2.2-Animate-2-14B --local-dir ./ckpts/、ModelScopeではmodelscope download --model Wan-AI/Wan2.2-Animate-2-14B --local_dir ./ckpts/を使用します。
まずcaptionを生成：Qwen3.7-PlusなどのLLMを使い、公式の中国語定型形式に従って「人物の外観説明＋背景説明」のみを記述します。動作、感情、評価は書かないでください。
Base版を実行：inferディレクトリに入り、wan_animate_2_demo.pyを実行して、--prompt、--refer-img-file、--refer-video-file、--config ./wan_animate_2.yamlを指定します。
蒸留版を実行：wan_animate_2_distillation.yamlに変更し、--sample_guide_scale 1.0 --step 10を追加します。Diffusers側ではguidance_scale=1.0、flow_solver="euler"に相当します。
並列設定の変更：GPUの数やメモリが公式環境と異なる場合は、まずYAMLのparallel configsを変更し、その後OOMや速度異常を確認します。
手軽に試す：環境構築をしたくない場合は、まずModelScope Studioを試せます。ローカルではwan_animate_2_gradio.pyまたはwan_animate_2_gradio_distillation.pyを実行します。

モーションの忠実度とアイデンティティの一貫性が最大の強みです。中間モーション抽出器をなくすことで、理論上は誤差の累積を1段階減らせます。
制作ワークフローに適した設計：公式はcaptionを固定形式に統一し、人物の外観と背景を説明し、動作は説明しないよう求めています。安定した再現に役立ちます。
低遅延への道筋が明確：Distillation版では10ステップ推論が可能で、Liteの論文もリアルタイム／ストリーミングのデジタルヒューマンを明確に志向しています。
商用利用への適性が比較的高い：Apache-2.0は二次開発に適していますが、実際の商用利用では素材の著作権、肖像権、プラットフォームの規則への対応が必要です。

プロジェクト公式サイト：https://humanaigc.github.io/wan-animate-2
Githubリポジトリ：https://github.com/Wan-Video/Wan-Animate-2
ModelScope：https://modelscope.cn/models/Wan-AI/Wan2.2-Animate-2-14B
arXiv技術論文：https://arxiv.org/pdf/2608.06009
オンラインデモ：https://www.modelscope.cn/studios/Wan-AI/Wan2.2-Animate

バーチャル配信者／デジタルヒューマン配信：Liteの方向性はリアルタイムのしきい値とストリーミングキャラクターアニメーションを明確に志向しており、「実在人物がバーチャルキャラクターを動かす」低遅延の配信に適しています。
ショート動画／ショートドラマのキャラクター代役：俳優の演技動画をdriving videoとして、キャラクターの立ち絵や参照画像に適用します。ファンタジーキャラクター、IPキャラクター、低コストの代役ショットに適しています。中核となるのはエンドツーエンドのモーション転送とアイデンティティの保持です。
ダンス、MV、手振りダンスの二次創作：1本のダンステンプレートで異なるキャラクターを動かし、複数キャラクターのカバーダンス、同一画面での衣装変更、スタイル化したMVを制作できます。視点制御により「同じ動作を異なるカメラ位置で」撮影した編集素材も作れます。
EC／ブランドコンテンツ：ブランドのマスコットやバーチャルモデルに統一テンプレートの動作をさせ、新商品紹介動画、キャンペーンページの動画、SNS素材に活用できます。商用利用前に肖像権、衣装の著作権、プラットフォームのコンプライアンスに対応する必要があります。
教育／知識系ブロガーの教材：講師の姿やアニメーション講師を固定動作のテンプレートで動かし、オープニング、トランジション、知識ポイントの説明ショットをまとめて生成できます。繰り返し撮影のコストを削減できます。
ゲームNPC／カットシーンの事前演出：まず実在人物の演技でキャラクターのプロトタイプを素早く動かし、動作のテンポ、カメラ、感情を検証してから、本格的なモーションキャプチャとレンダリングの工程に進むか判断できます。