HOMIE 運営中

HOMIEは香港科技大学がオープンソースで公開するデジタルヒューマン動画生成フレームワークです。Wan2.1-T2V-14Bをバックボーンネットワークとし、Qwen3-VLマルチモーダル大規模モデルを統合しています。フレームワークはデジタルヒューマン＋商品＋Logo＋テキストの4要素を統合的に処理し、人と物のインタラクション、ブランドロゴの貼り付け、OCRテキストの忠実な再現、多視点の一貫性という4つの課題を正確に解決します。モデルの学習はわずか5.5Kステップ／約1万A100時間で完了し、OCR精度はオープンソースで最も高性能なモデルを38.7%上回ります。480Pの単一GPUから720Pの複数GPU推論まで対応し、ECライブコマースやバーチャル配信者などの動画制作のハードルを大幅に下げます。

人と物のインタラクション動画のパーソナライズ：複数の人物とさまざまな物体を同じ動画内に同時に登場させ、各主体の外観の一貫性を保ちながら、自然で合理的なインタラクション動作（手に持つ、商品を見せる、手渡すなど）を実現します。
Logo／抽象概念の正確な貼り付け：マルチモーダル大規模モデル（MLLM）の意味推論能力を用いて、ブランドLogoなどの抽象概念を意味的に最も関連する物体へ自動的に貼り付けます。プロンプトで位置関係を明示的に記述する必要はありません。
OCRテキストの高忠実度生成：OCR参照画像と組み合わせることで、製品パッケージやラベル上の文字を生成動画内で鮮明かつ読みやすく保ち、ぼやけや文字化けを防ぎます。AI動画生成における「文字が一塊に潰れる」問題を解決します。
多視点一貫性のある生成：同一物体の複数視点の参照画像を与えると、動画内で物体が回転・移動しても外観と細部の一貫性を維持します。フィギュア、3Dモデル、ぬいぐるみなどの展示シーンに適しています。

WeChatでフォローし「開源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます。
全体アーキテクチャ：AlibabaのWan2.1-T2V-14BのDiTをバックボーンとし、Qwen3-VL-2B-Thinkingを視覚理解モジュールとして導入します。UmT5テキストエンコーダーとVAE視覚エンコーダーを組み合わせ、「テキスト＋マルチモーダル意味情報＋視覚」の3経路並列生成アーキテクチャを構成します。
MLLM統合戦略：既存のテキスト・動画間のアライメント関係を損なわず、高額な再アライメントコストも発生させないまま、マルチモーダル大規模モデルの意味推論能力をDiTに注入します。これにより、モデルは参照画像間の潜在的な関係を自動的に理解できます。
グローバルマルチモーダル自己注意誘導（GMG）：DiTの自己注意層で、MLLMが抽出した意味特徴とVAE視覚トークンをグローバルにアライメントします。投影、プーリング、アフィン変換により、生成中の各動画トークンが参照画像のグローバルな意味情報を「見る」ことを可能にします。
モダリティ・参照埋め込み（MRE）：MLLM特徴トークンとVAE視覚トークンにそれぞれモダリティ埋め込みを付与し、異なる参照画像には独立した参照埋め込みを付与します。さらに、同一主体の多視点／OCR参照画像トークンを関連付け、情報の混同を防ぎます。
3段階の段階的学習：単一主体480P→複数主体480P→高解像度720Pの順に学習し、合計わずか5.5Kステップで完了します。同種手法の数万ステップを大きく下回ります。

環境準備：GitHubからHOMIEのコードリポジトリをローカルにクローンし、環境依存関係をインストールします。
重みのダウンロード：HuggingFaceから公式公開済みの事前学習済み重みを指定のモデルディレクトリにダウンロードします。
素材の準備：人物写真、商品画像、Logo画像、OCRテキスト画像など、複数主体の参照画像を用意します。
プロンプトの作成：対象動画における人物と物体のインタラクション動作やシーンを正確に記述したテキストプロンプトを作成します。
推論の実行：推論スクリプトを実行すると、HOMIEがマルチモーダル参照情報を自動的に融合し、パーソナライズされた動画を生成します。
解像度の選択：単一GPUでは832×480解像度の動画を直接生成でき、複数GPUのFSDPでは720Pの高解像度出力まで拡張できます。

統合フレームワーク：人と物のインタラクション、Logoの貼り付け、OCRテキストの忠実な再現、多視点一貫性という4つのタスクを1つのフレームワークで同時に処理でき、シーンごとに異なるモデルへ切り替える必要がありません。
高効率な学習：わずか5.5Kステップ／約1万A100時間で学習を完了でき、同種手法で通常必要とされる3～4万ステップを大幅に下回ります。
MLLMの無損失統合：テキストエンコーダーの制御性を損なわず、高額な再アライメントコストも発生させることなく、マルチモーダル大規模モデルの意味推論能力を動画生成パイプラインに注入します。
先進的な品質：OCR精度が38.7%向上し、多視点一貫性が8.2%向上しました。40人を対象としたユーザー調査では、64.7%が総合品質を1位に選びました。
柔軟な推論：480Pの単一GPUから720Pの複数GPU推論まで対応し、1280×720の縦型動画も出力できます。ライブコマースやショート動画制作にそのまま適用できます。

公式サイト：https://yiyangcai.github.io/homie-page.github.io
GitHubリポジトリ：https://github.com/YIYANGCAI/HOMIE
HuggingFaceモデル： https://huggingface.co/yychai/homie-r2v-wan2.1
arXiv技術論文：https://arxiv.org/pdf/2607.18217

ECライブコマース：指定したデジタルヒューマンが指定した商品を持ち、指定した動作を行う販売動画を生成します。1280×720の縦型出力に対応し、ショート動画プラットフォームにそのまま適用できます。
ブランド広告制作：ブランドLogoを意味的に関連する製品へ自動的に貼り付けます。プロンプトで位置関係を明示的に指定する必要はありません。
バーチャル配信者／デジタルヒューマン：デジタルヒューマンのアイデンティティの一貫性を保ちながら、複数の商品と自然にインタラクションできます。
製品の多視点展示：フィギュア、3Dモデル、ぬいぐるみの多視点参照画像を与えると、回転展示動画を生成できます。各角度で外観の一貫性が保たれます。
パッケージ文字の忠実な再現：OCR参照画像と組み合わせ、製品パッケージやラベル上の文字を動画内で鮮明かつ読みやすく保ちます。食品、化粧品、健康食品など、成分や説明の表示が必要なシーンに適しています。