Hy-Nomas 運営中

Hy-Nomasは、Tencent Hunyuanチームがオープンソースで公開したインタラクティブ動画世界生成モデルです。セグメント単位の自己回帰方式で動画を生成し、各セグメント間でテキストプロンプトとカメラ軌道制御を自由に切り替えられます。また、lifelong KV cacheによって長期的な一貫性を維持します。Hy-Nomasはコードとモデルウェイトを公開しており、蒸留版とINT8量子化版を提供しています。最適化後は、1台のRTX 4090でローカル推論を実行できます。

自由形式のテキスト制御：任意形式のテキストプロンプトに対応し、生成される世界の物体、スタイル、シーン、動作を制御できます。
カメラ軌道制御：カメラの移動軌道を条件として生成でき、テキストプロンプトと自由に組み合わせたり切り替えたりできます。
マルチターンインタラクティブ生成：Webインターフェースでは、セグメントの境界で新しい指示を入力し、連続的なマルチターン生成を実現できます。
プロンプト強化（Nomas-PE）：内蔵のオンラインモデルが、ユーザーの口語的な指示を構造化された生成プロンプトへ自動変換します。
コンシューマー向けローカル展開：INT8量子化とCPU offloadの最適化により、1台のRTX 4090で推論を実行できます。
LoRAファインチューニング：カスタム動画データを使った微調整に対応し、蒸留モデルへ統合して推論に利用できます。

WeChatで「オープンソース」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます。
セグメント単位の自己回帰アーキテクチャ：長い動画をセグメントごとに生成します。各セグメントは現在のプロンプトまたはカメラ信号を条件とし、すべてのセグメントを通じて維持されるlifelong KV cacheを管理することで、シーン、物体、スタイルの時間的な一貫性を保ち、長期的な世界生成を実現します。
蒸留による推論高速化：蒸留学習によってデノイズステップ数を4/6/8ステップまで圧縮し、専用に微調整したPixelUMMデコーダーで32チャネルのDCAE-V潜在変数を処理します。品質を維持しながら、推論レイテンシを大幅に短縮します。
低VRAM推論メカニズム：DiTのウェイトとKV cacheにはINT8ストレージを使用し、計算はBF16で行います。過去のコンテキストはスライディングウィンドウで切り詰め、無制限に増加することを防ぎます。テキストエンコーダー、DiT、VAEを段階ごとにCPU/GPU間で切り替え、ピーク時のVRAM使用量をコンシューマー向けGPUで処理可能な範囲に抑えます。
LoRAセグメント強制学習：微調整では非蒸留チェックポイントをベースモデルとして使用し、segment forcing学習パイプラインによりLoRAパラメータ（rank/alpha 256）のみを学習します。学習完了後、LoRAウェイトを蒸留チェックポイントへ統合し、蒸留による高速推論とカスタマイズ性を両立した推論モデルを得ます。

2つのモードを自由に切り替え：各セグメントの生成で、テキストプロンプトとカメラ軌道制御を自由に切り替えられ、柔軟にインタラクションできます。
長期的な一貫性：lifelong KV cacheにより、物体、シーン、スタイルをセグメントをまたいで維持し、長時間動画のドリフトを防ぎます。
コンシューマー向けGPUで実行可能：INT8量子化、スライディングウィンドウ、CPU offloadにより、1台のRTX 4090でローカル推論を実行できます。
高速推論：蒸留後はデノイズに必要なステップ数が4~8ステップ בלבדとなり、生成レイテンシを大幅に短縮します。
完全オープンソース：コード、ウェイト、学習、データアノテーションの手順をすべて公開しており、Apache 2.0ライセンスで商用利用できます。

公式サイト：https://hy-nomas.hy.tencent.com/
GitHubリポジトリ：https://github.com/Tencent-Hunyuan/Hy-Nomas
HuggingFaceモデルリポジトリ：https://huggingface.co/tencent/Hy-Nomas

AIゲームのプロトタイプ開発：テキストとカメラの指示によってインタラクティブなゲーム世界を迅速に生成し、低コストでゲームプレイのコンセプトを検証できます。
ロボットシミュレーション訓練：公式のRobotics LoRAを利用して、リアルなロボットアーム操作環境を生成し、具身知能向けの合成訓練データを提供します。
映像制作のプリビズと絵コンテ：シネマティックなLoRAで一貫性のある長回し映像を生成し、監督のカメラワーク設計とビジュアルプレビューを支援します。
バーチャル観光・空間展示：カメラ軌道制御で歩き回れる観光地、展示ホール、不動産シーンを生成し、従来の3Dモデリングに代替できます。
AI研究・教育：学習、微調整、データアノテーションの完全なコードを公開しており、世界モデル分野の教育・研究基盤として利用できます。