Vidu S2 運営中

Vidu S2は生数科技が開発したリアルタイム動画モデルで、リリースと同時に体験を開始できます。S2-EditingとS2-Avatarの2つのコアモデルを搭載。S2-Editingは動画ストリームのスタイル変更、衣装変更、キャラクター変更、背景変更をリアルタイムでサポートし、フレームアライメント技術によって高速な動きでも破綻を防ぎます。S2-Avatarは720P、25-42FPSでリアルタイムインタラクションを実現し、参考画像の追加や衣装変更にいつでも対応。全身の動きにも追従し、StreamAV-Benchで9項目の最高評価を獲得しています。独自のSRFトレーニングにより長時間生成時のドリフトを解消し、VR向けのSpatial空間動画も展開しています。

S2-Editingリアルタイム編集：再生中の動画ストリームのスタイル変更、バーチャル試着、キャラクター変更、背景変更をリアルタイムで実行できます。テキスト指示1つと任意の参考画像1枚だけで操作できます。
S2-Avatarリアルタイムインタラクション：720P、25-42FPSの高画質でキャラクターをリアルタイム生成。新しい参考物をいつでも追加でき、キャラクターにそれを「受け取らせ」、状態の記憶を維持できます。
ワンクリック衣装変更：動画ストリームを中断せずに画像を1枚送るだけで、キャラクターが瞬時に着替えます。動きは自然で、感情表現も途切れません。
全身動作追従：ソロダンスや2D/3Dアニメーションなどの指示に対応し、全身を使った演技を実現。従来の「話すだけ」のデジタルヒューマンの制約を超えます。
Vidu S2-Spatial空間動画：単眼のリアルタイム動画を左右の目に同期した映像へ変換し、VRなどの没入型デバイスに空間化されたリアルタイム体験を提供します。

フレームアライメント付きスパースアテンション：S2-Editingの中核技術です。リアルタイム編集時に新しい映像の各フレームを元動画の同じ時点に厳密に固定・同期し、衣装や人物を変更しても動きの軌跡が破綻せず、映像が裂けることを防ぎます。高速運動動画におけるリアルタイム画像変更の安定性という課題を解決します。
SRF（Self-Replay Forcing）トレーニング技術：長時間のストリーミング生成で発生する「崩壊」と「ドリフト」を解消するために独自開発されました。モデル自身が生成履歴に向き合い、誤差を自己修正することで、いわば「自己修正の記憶」を備え、変化し続けるシーンでも安定して「演じ続ける」ことを可能にします。
動的参照メカニズム：S2-Avatarでは、動画生成中の任意のタイミングで新しい参考画像を追加できます。モデルは即座に応答して新要素を映像に取り込みながら、状態情報を継続的に保持し、前後の因果関係を持つ一貫したインタラクションを実現します。
空間動画変換：アルゴリズムによって単眼のリアルタイム動画を左右の目に同期した映像へ変換します。単一カメラの入力で両眼視差をシミュレートし、動画の時間的な連続性を保ちながら空間認識の一貫性を維持して、VRのリアルタイム体験を支えます。

ウェブ体験：https://vidu.com/vidu-stream にアクセスすると、リアルタイムで試用できます。
API連携：開発者はplatform.vidu.com/vidu-stream/docでドキュメントを確認し、S2の機能を連携できます。
リアルタイム編集：動画ストリームの再生中にテキスト指示を1つ入力し、任意の参考画像を1枚アップロードするだけで、スタイル変更、衣装変更、キャラクター変更、背景変更を実行できます。
リアルタイムインタラクション：S2-Avatarとの会話でキャラクターの演技を操作し、画像をいつでもアップロードして新しいアイテムを見せたり、ワンクリックで着替えさせたりできます。

真のリアルタイム性：720P、25-42FPSのストリーミング出力に対応し、編集とインタラクションのどちらも動画ストリームを中断しません。
幅広い編集機能：スタイル、衣装、キャラクター、背景の4つのリアルタイム編集に対応し、EC、ライブ配信、マーケティングなど主要な商用シーンをカバーします。
動的参照と状態記憶：新しい要素をいつでも追加し、キャラクターに文脈を「記憶」させられます。自然で温度感のある一貫したインタラクションを実現し、「話すだけ」のデジタルヒューマンの制約を超えます。
長時間の安定性：SRFの自己修正トレーニングにより、ストリーミング生成の崩壊とドリフトを解消し、キャラクターが長時間安定して演じ続けます。
ベンチマークで先行：S2-AvatarはStreamAV-Benchで9項目の最高評価を獲得。Editingも指示実行、外観再現、動作保持などの重要指標で優れています。
低い導入ハードルと高い効果：リリース直後から体験でき、1本の元動画から複数のスタイル素材を展開し、セット設営、撮影、編集のコストを大幅に削減します。

ECライブコマース：視聴者が香水や服をリクエストすると、キャラクターがリアルタイムで取り出して見せたり、ワンクリックで着替えたりできます。リアルな販売員の接客体験を再現します。
バーチャル試着：購入前に、衣服が身体の動きに沿う様子を直感的に確認でき、購入判断の負担と返品率を抑えます。
IPの商用化：ブランドのバーチャルアイドルやゲームの主人公がライブ配信に「登場」し、実在の販売員に代わって商品を紹介。ファンの没入感を高めます。
越境EC・シーンマーケティング：背景をワンクリックで変更できます。ダウンジャケットの販売なら雪山へ、美容製品ならパリのショー会場へ切り替えられ、セット設営費をほぼゼロにできます。
素材の大量展開：1本の実写素材からサイバーパンク、水墨画、アニメなど多様なスタイルの素材を一括生成し、海外向けショートドラマ、ゲーム広告、ブランドキャンペーンに活用できます。