WorldCast 運営中

WorldCastは武漢大学とXiaomiが共同でオープンソース化した動画生成モデルです。キャラクターの参照画像1枚、目標カメラ軌道、任意の視点のアンカー画像1〜4枚を入力すると、カメラがキャラクターの周囲を360度回転してもアイデンティティが崩れない動画を生成できます。WorldCastは2つの仕組みによってこれを実現します。1つはカメラ軌道を制御し、参照画像から点群を復元して軌道に沿ったフレームごとのレンダリングで誘導する仕組みです。もう1つは視点間の一貫性を制御し、アンカー画像を検索可能なメモリとして保存します。カメラがどの面を向いているかに応じて対応する情報を呼び出すため、カメラに背を向けた際の顔の変化を防げます。

大角度カメラ制御：目標カメラ軌道を入力すると、カメラをキャラクターの周囲で回転、前後移動、周回させられます。最大360度の一周運動に対応します。
視点をまたぐアイデンティティ一貫性：生成動画内のキャラクターの顔立ち、髪型、服装を、あらゆる視点で同一のアイデンティティに保ちます。
複数視点アンカー画像による補完：任意の視点のアンカー画像1〜4枚を補足情報として受け付け、1枚の参照画像では見えない面を補完します。
テキストと画像による二重条件生成：テキストプロンプトと初期キャラクター画像を組み合わせ、軌道に沿って制御可能な後続フレームを生成します。キャラクター展示やバーチャル撮影のプリビズなどに適しています。

WeChatでフォローし「开源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます。
軌道整合の幾何学的ガイダンス：事前学習済み深度推定器を使って初期参照画像から深度を推定し、画像を色付きの3次元点群へ逆投影します。キャリブレーションによって、レンダリングの動きと目標軌道が最も一致するスケールを求め、点スプラッティングと深度バッファを用いて軌道に沿ったフレームごとのRGBガイド画像とオーバーレイマスクをレンダリングします。同時に、Plücker線表現で目標カメラの幾何情報を符号化し、ノイズ潜在変数および初期フレーム条件とパッチ埋め込み前にチャネル結合します。オーバーレイマスクは点群で覆われていないピクセルを示し、生成器に自由な補完が必要な領域を伝えます。
幾何整合メモリアテンション（GAMA）：初期画像とアンカー画像に前景分割および幾何推定を適用し、Umeyamaアライメントによって各アンカーカメラを目標軌道と同一の座標系に配置します。各観測をVAEで符号化し、Plücker線表現を付加した後、「幾何整合キャラクターメモリ」に結合します。backboneの第0、2、……、38ブロックの後に20個のメモリアテンションブロックを挿入し、動画トークンとメモリトークンで合同自己注意を行います。現在の視点に応じて相補的な幾何学的証拠を検索します。残差分岐はゼロ初期化され、学習初期に事前学習済みbackboneへ影響を与えません。アブレーション実験では、GAMAを除くとアイデンティティ類似度が0.555から0.370へ低下しました。
2段階学習とデータ構築：第1段階では5万件のUE5合成カメラモーション系列でカメラ制御能力を学習します。アブレーションでは、このデータを除くと軌道誤差ATEが0.100から0.359へ悪化し、Plücker条件も不可欠であることが示されました。第2段階では3万件のBlenderマルチビューアンカー・レンダリングデータでメモリアテンションを学習します。99体のキャラクターと33個の環境を含む合計8万サンプルで、各サンプルに参照動画、初期RGB-D、カメラの内部・外部パラメータ、レンダリングガイド、オーバーレイマスクを提供します。

リポジトリをクローン：git clone https://github.com/PixCtrol/WorldCast を実行してディレクトリに移動します。
環境を構築：Python ≥3.10とbf16対応CUDA GPUを用意し、pip install -r requirements.txtを実行します。
重みをダウンロード：HuggingFaceからWan2.1-I2V-14B-720Pベースモデルをダウンロードしてpretrained/Wan2.1-I2V-14B-720P/に配置し、base_dit.safetensorsとworldcast_bank.safetensorsをcheckpoints/に配置します。
入力を準備：キャラクター参照画像1枚とアンカー画像1〜4枚を配置し、manifest（マニフェストファイル）で画像パス、テキストプロンプト、カメラ軌道を指定します。
推論を実行：python demo.py --manifest demo_case_traj5.json --model_root pretrained/Wan2.1-I2V-14B-720P --ckpt checkpoints/worldcast_bank.safetensors --init_dit_from checkpoints/base_dit.safetensorsを実行して動画を生成します。
バッチ処理とカスタマイズ：バッチ推論はscripts/infer/infer_worldcast.pyとlaunch/infer/run_anchor_inference_example.shを参照し、軌道はscripts/data/trajectories.pyで生成できます。

視点をまたぐアイデンティティ一貫性が最も強い：独自構築したCLACTベンチマークで、ArcFaceによるアイデンティティ類似度は0.555に達し、Uni3Cなどのベースラインを大きく上回ります。カメラがキャラクターの背後に回っても「顔が変わる」ことはありません。
カメラ制御精度が最も高い：軌道誤差ATE 0.065、RTE 0.020、RRE 0.896はいずれも比較手法中で最高で、最大360度の一周回転に対応します。
大角度シーンに特化した設計：アンカー画像のメモリ検索によって、1枚の画像では見えない「背面」情報を明示的に補完し、大角度軌道におけるアイデンティティ崩壊の解決に特化しています。
仕組みの貢献を検証可能：アブレーションでは、GAMAメモリアテンションを除くとArcFaceが0.555から0.370へ急落し、視点間一貫性の向上要因が明確に示されています。
完全なオープン性：論文、推論コード、モデル重みの3点がそろい、Apache-2.0ライセンスで公開されています。カメラ制御分野では数少ない完全オープンな成果です。

プロジェクト公式サイト：https://pixctrol.github.io/WorldCast/
GitHubリポジトリ：https://github.com/PixCtrol/WorldCast
HuggingFaceモデルリポジトリ：https://huggingface.co/ly56/worldcast
arXiv技術論文：https://arxiv.org/pdf/2610.33135

キャラクターの周回展示：カメラをバーチャルキャラクターの周囲で360度回転させて展示し、衣装、フィギュア、バーチャルアイドルの外観の細部を常に一貫させます。
バーチャル撮影のプリビズ：実写撮影前にキャラクターの代役を設定したカメラ軌道で運 cameraをプレビューし、絵コンテの効果を検証して実撮影の試行錯誤を減らします。
デジタルヒューマンのマルチビュー一貫動画：デジタルヒューマンの振り向き、横顔、後ろ姿などの多角度素材を生成し、「同じ顔」を維持します。バーチャル配信者やイメージプロモーション動画に利用できます。
ゲームキャラクターアニメーション：ゲームのカットシーンやキャラクター紹介ページ向けに周回カメラアニメーションを生成し、従来のマルチビュー・モデリングやレンダリングにかかる重複コストを削減します。
EC商品アニメーション：商品を中心に回転展示動画を生成し、商品詳細ページや広告素材の制作に利用します。