EdenLive 運営中

EdenLiveはVASTが開発したリアルタイム生成レンダラーであり、同社のワールドモデルプロジェクトProject Edenの段階的な成果です。EdenLiveはProxyによる簡略化された映像または参考動画を制御信号として、目標の初期フレームとテキストプロンプトを組み合わせ、写実的またはスタイライズされた映像を継続的にリアルタイム生成します。単一のRTX 5090で720P、24FPS以上を実現し、遅延はわずか数百ミリ秒です。EdenLiveの中核設計は、ワールド状態の維持とビジュアルレンダリングを分離することです。完全なアートアセットがなくてもインタラクティブな映像を生成でき、すでに全面的にオープンソース化されており、ゲーム、アニメーション、身体性知能のデータ生成などに利用できます。

リアルタイム生成レンダリング：Proxyによる簡略化された映像または参考動画を制御信号として、精細またはスタイライズされた映像を継続的にリアルタイム生成し、720Pで24 FPSを超えるフレームレートを実現します。
自由な画風切り替え：目標の初期フレームとテキストプロンプトを指定するだけで、同じ映像をアニメ、油絵、写実などさまざまなビジュアルスタイルに変換できます。
任意の参考入力：2Dアニメーション、3Dシーン、実写動画など、さまざまなソースを構造と動きの参考として利用でき、特定のレンダリングパイプラインに依存しません。
Proxy-to-Fine生成：粗いシーン構造から高品質な完成映像を直接生成でき、完全なアートアセットを事前に制作する必要がありません。
ゲームインタラクション接続：上流のインタラクションシステムと分離して連携し、ゲームUIと操作メカニズムを維持しながら、状態維持とリアルタイムレンダリングの一連の流れを実現します。
オープンソースエコシステム：モデルの重み、推論コード、技術レポートを公開し、Game Prototype Turboも提供します。自然言語からプレイ可能なProxyゲームをワンクリックで生成できます。
身体性知能データ生成：元の動作軌跡とシーン構造を維持したままビジュアルの外観を変化させ、ロボット学習向けに多様なデータを提供します。

WeChatでフォローし「開源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます
状態とレンダリングを分離するアーキテクチャ：EdenLiveはワールド状態の維持とビジュアル生成を分離します。ゲームルール、キャラクターの位置、衝突判定などは上流のインタラクションシステムが明示的に記録・更新し、動画モデルは暗黙的な状態推論を行いません。これにより、生成時間の経過に伴う誤差の累積を防ぎ、画質とリアルタイム性に集中できます。
Proxy-to-Fine生成パラダイム：モデルはProxyによる簡略化された参考映像から、シーンレイアウト、カメラの動き、粗粒度の動的情報を条件として取得します。参考映像が特定の幾何学的精度に達していなくても、精細な目標映像を生成できます。
マルチモーダル条件制御：生成は3種類の入力によって共同で駆動されます。参考動画ストリームが構造と動きの情報を提供し、目標の初期フレームが全体のビジュアル外観と画風を決定し、テキストプロンプトがスタイルとディテールを補います。3者が連携することで、任意の参考素材と任意の画風を柔軟に制御できます。
リアルタイムストリーミング生成：モデルはオフラインで動画全体を生成するのではなく、ストリーミング推論を採用しています。動的に変化する参考映像を継続的に受け取り、レンダリング結果をフレーム単位で出力します。単一のRTX 5090、5Bパラメータ、720Pの構成で24 FPS超と数百ミリ秒レベルのエンドツーエンド遅延を実現し、数分間の連続生成が可能です。

コードを取得：GitHubからオープンソースリポジトリ https://github.com/VAST-AI-Research/EdenLive をクローンします。
重みをダウンロード：Hugging Face https://huggingface.co/VAST-AI/EdenLive から、対応するサイズ仕様のモデル重みをダウンロードします。
入力1、参考映像を準備：自作の2D/3Dシーン、ゲームエンジンの出力、または画面録画などから、Proxyによる簡略化されたシーンまたは参考動画ストリームを用意します。
入力2、目標の初期フレームを準備：全体の画風とビジュアル外観を決定する初期フレーム画像を1枚指定します。
入力3、テキストプロンプトを準備：スタイルとディテールを説明するテキストプロンプトを作成します。
推論を実行：推論コードを呼び出すと、EdenLiveが参考映像を指定したスタイルの精細な映像または動画ストリームへリアルタイムにレンダリングします。
インタラクションシステムに接続：上流エンジンが出力する動的な参考映像を継続的にモデルへ入力し、ゲームなどのリアルタイムインタラクションシーンでレンダリングのループを実現します。
エンドツーエンドのデモを体験：オープンソースのGame Prototype Turboを使い、自然言語からプレイ可能なProxyゲームを生成した後、EdenLiveでリアルタイムレンダリングして、全体の流れを体験できます。

高いリアルタイム性：単一のRTX 5090で720P、24FPS以上の数分間にわたる連続生成を実現し、エンドツーエンドの遅延は数百ミリ秒レベルに抑えられます。
安定した分離アーキテクチャ：ワールド状態はインタラクションシステムが明示的に維持し、動画モデルはレンダリングに集中するため、暗黙的な状態推論による誤差の累積を防ぎます。
低い入力ハードル：Proxyの参考素材に精細なジオメトリや特定のレンダリングパイプラインは不要で、粗いシーンから完成度の高い映像を生成できます。
自由な画風切り替え：同じ参考映像から写実、アニメ、油絵など任意のスタイルを生成でき、画風ごとにアセットを作り直す必要がありません。
多様な参考素材に対応：2Dアニメーション、3Dシーン、実写動画などさまざまなソースに対応し、生成レンダリングを一貫して実行できます。

プロジェクト公式サイト：https://vast-eden.ai/?p=edenlive
GitHubリポジトリ：https://github.com/VAST-AI-Research/EdenLive
HuggingFaceモデルリポジトリ：https://huggingface.co/VAST-AI/EdenLive
技術論文：https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf

AIゲーム開発：EdenLiveで完成度の高い映像をリアルタイムにレンダリングすることで、個人開発者でも低コストで3Dゲームを制作できます。
映像・アニメーションのプリプロダクション：監督が簡単な映像で構図、カメラワーク、キャラクターの動線を決めた後、写実、カートゥーン、油絵など異なるスタイルのバージョンをワンクリックで生成し、美術方針を素早く決定できます。
リアルタイムのスタイル変換ライブ配信・動画：実写動画を参考に、人物の演技をリアルタイムでアニメなどのスタイルに変換し、バーチャル配信者やショート動画の制作に利用できます。
身体性知能の学習データ生成：ロボットの動作軌跡とシーン構造を維持したままビジュアルの外観を変化させ、ロボット学習向けの多様なシミュレーションデータを迅速に生成できます。
インタラクティブ教育とバーチャル体験：教育・展示用途の簡略化された3Dシーンを高品質な映像へリアルタイムにレンダリングし、ブラウザや軽量デバイス上で没入感のあるインタラクティブ体験を提供します。