Orbis 運営中

OrbisはViskoが発表した初のLive Model（リアルタイム世界モデル）で、AI動画をライブ配信のように継続的に動作させます。ユーザーはいつでも新しい指示を入力して映像の展開をリアルタイムに変更でき、完成を待つ必要はありません。モデルは4K@24FPSのリアルタイムストリーミング生成に対応し、マルチスケールメモリ機構によって数時間にわたる長時間の一貫性を維持します。因果時間分解と物理認識報酬に基づき、動きを現実的かつ自然に保ちます。バーチャルライブ配信、インタラクティブストーリー、ロボットシミュレーションなどの用途に適しています。

リアルタイムストリーミング生成：映像をライブ配信のように途切れなく継続出力し、4K@24FPSのリアルタイム配信に対応します。
生成中のインタラクション：ユーザーはいつでもプロンプトを追加・変更でき、新しい指示は平均1秒以内に後続の映像へ反映されます。
マルチモーダル入力：テキストからの動画生成、画像からの動画生成、動画の続きを生成する3つの方法で世界を開始できます。
長時間の一貫性：マルチスケールメモリ機構により、目立った品質低下なしに数時間にわたる連続生成を維持できます。
物理的なリアリティ：因果分解と世界モデル報酬に基づき、物体の動きや相互作用が物理法則に従うようにします。

因果時間分解：生成を初期値問題として扱い、各chunkは確定済みの履歴から次の時間帯のみを予測します。物理現象の進化におけるマルコフ構造に自然に適合し、双方向デノイジングで「未来のノイズが現在の判断を汚染する」問題を回避します。
境界付きマルチスケールメモリ：直近の履歴はネイティブ潜在解像度で保持し、遠い履歴は段階的に圧縮します。ウィンドウ外の情報は固定容量の学習状態へConsolidateされ、メモリと計算コストをrolloutの長さから切り離します。
段階的なトレーニングパイプライン：双方向モデルで短期的な視覚的事前知識を学習し、ストリーミング生成器へ蒸留します。その後、イベントアライメントによる長時間動画学習と人手による厳選・微調整を行い、最後に自己強制分布マッチングとGRPO強化学習によって視覚報酬と物理報酬に整合させます。
物理認識報酬による整合：凍結したV-JEPA 2潜在世界モデルを導入し、候補フレームと過去の状態の予測整合性を評価します。生成結果が現実の力学に従うよう導き、視覚品質報酬と組み合わせて最適化します。
ストリーミング推論エンジニアリング：状態の再利用、コンパイル済みTransformerの実行、複数GPUによるシーケンス並列化、段階的なデコード・超解像・伝送パイプラインを連携させ、4Kのリアルタイム配信を実現します。

セッションを開始：Visko公式サイトのPlaygroundにアクセスするかAPIを呼び出し、テキストを入力、画像をアップロード、または動画の冒頭部分を貼り付けると、リアルタイムセッションを開始できます。
リアルタイム生成を開始：Liveボタンをクリックしてストリーミング生成を開始すると、映像がライブ配信のように継続的に自動展開されます。
映像にリアルタイムで介入：生成中に新しいプロンプトや音声指示をいつでも入力でき、平均1秒以内に後続の映像の展開をリアルタイムで変更できます。
シーンをシームレスに切り替え：「Morph the scene」と入力してシーンの変化を説明すると、新しい指示が次のchunkの境界でシームレスに反映されます。
出力画質を選択：必要に応じて1080p、2K、4Kの出力解像度を選択できます。システムはストリーミング超解像によって高画質映像をリアルタイムで配信します。
クリップを切り出して保存：Clipボタンをクリックすると、生成中の動画をいつでも切り出して保存でき、後の編集や共有に利用できます。
独自アプリに統合：API Keyを取得すれば、Orbisのリアルタイム生成機能を独自のアプリ、ライブ配信、ロボットシミュレーションのワークフローに統合できます。

リアルタイムストリーミングインタラクション：映像をライブ配信のように継続生成し、ユーザーはいつでも新しい指示を入力して展開をリアルタイムに変更できます。完成を待つ必要はありません。
超長時間の一貫性：境界付きマルチスケールメモリ機構により、目立った品質低下や色ずれなしに数時間にわたる連続生成を維持できます。
高い物理的リアリティ：因果時間分解と潜在世界モデル報酬に基づき、物体の動きや相互作用が現実の物理法則に従うようにします。
高画質のリアルタイム配信：ネイティブ生成とストリーミング超解像により、4K@24FPSの動画をリアルタイムで出力できます。
統一された生成インターフェース：同一の因果的継続生成フレームワークで、テキストからの動画生成、画像からの動画生成、動画の続きを生成する3つの開始方法に対応します。

公式サイト：https://www.visko.ai/models
技術論文：https://www.visko.ai/blog/papers/files/Visko_Orbis_1_0__A_Live_Model_for_Real_TimeInteractive_Long_Video_Generation.pdf

インタラクティブエンターテインメントとストーリー制作：ユーザーがリアルタイムで物語の分岐を選択したり、音声で物語を語ったりすると、映像が指示に応じて即座に展開され、「プレイできる映画」の体験を実現します。
AIライブ配信とバーチャル配信者：バーチャル配信者向けのリアルタイム映像エンジンとして、ライブ映像を継続生成し、コメントや音声指示に応答します。事前録画素材は不要です。
ロボットシミュレーション訓練：生成された高忠実度の仮想世界でロボットの行動を訓練・テストし、実環境へ導入する前の試行錯誤のコストを削減します。
没入型教育と研修：抽象的な知識や歴史的場面をリアルタイムで可視化し、学生は音声で質問して説明内容を即座に変更できます。
EC向けバーチャル展示：バーチャルインフルエンサーがリアルタイム生成されたシーンで商品を動的に紹介し、ユーザーはスタイル、アングル、利用シーンの変更をその場で指示できます。