京東は本日、独自開発したリアルタイム・ストリーミング動画編集モデル「JoyAI-Video-Edit」をオープンソース化すると発表しました。ユーザーは動画を視聴しながら人物やシーンを変更でき、動画制作を「素材を用意してから編集する」方式から、リアルタイムで対話的に編集する方式へと進化させます。
京東によると、ストリーミングによるリアルタイム動画編集の分野で、JoyAI-Video-Editは現在業界を代表するモデルと比較して、各指標で全面的に優れ、世界トップレベルに達しています。
動画のリアルタイム編集では、まず速度の問題を解決する必要があります。動画は連続するフレームで構成されているため、モデルの処理速度が再生速度に追いつかなければ、映像の停止や遅延が発生します。JoyAI-Video-Editは独自開発のJoyAI-Videoモデルを基盤とし、720P解像度で毎秒30フレームの推論速度を実現。高い映像の鮮明さを保ちながら、一般的な映像作品の再生ペースに追従できます。
動画の長さもストリーミング編集における課題の一つです。従来のストリーミング編集モデルは数秒から数分程度の映像しか処理できませんでしたが、JoyAI-Video-Editは任意の長さの動画に対する安定したストリーミング編集に対応し、動画の再生に合わせて継続的に処理できます。ユーザーは動画全体の生成完了を待つ必要がなく、再生中にシーンの変更、物体の置き換え、人物の外見の調整、映像スタイルの変更をリアルタイムで行い、「見ながら創作」できます。
例えば、動画内の人物の服装を連続して着替えさせたり、ライブ配信中に普通の街並みをアニメーションの世界に変えたりできます。また、住宅デザインでさまざまな家具、壁面、照明効果を試すことも可能です。
モデルの性能を評価するため、研究チームはJoyAI-Video-Editを、SANA Streaming、LiveEdit、Xmax-X2.0など、国際的に代表的なストリーミング動画編集モデルと比較しました。その結果、典型的な動画編集シーンを網羅した評価データにおいて、JoyAI-Video-Editは総合的な性能で全面的に優れていることが示されました。
業界で権威のあるOpenVE-Bench汎用評価では、モデルは現在存在するすべてのストリーミング編集手法を上回り、全体的なスタイル、部分置換、部分削除、字幕編集などのタスクで特に優れ、同種の業界モデルを大きく引き離しました。
動画制作にとどまらず、JoyAI-Video-Editは身体性知能の学習データを大規模に合成するための新たな技術的アプローチも提供します。ロボットの訓練には、物体の把持、運搬、操作に関する大量の動画が必要ですが、実機でのデータ収集はコストが高く、危険な場面や珍しい場面を繰り返し収集することも困難です。シーン、物体、映像内容を制御可能な形で編集できる能力を活用し、JoyAI-Video-Editは人の手による操作動画を、ロボットハンドやロボットアームによる操作素材に変換できます。さらに、物体の位置、空間的関係、動作軌跡を維持したまま、シーン、物体、ロボットの形態を置き換えることで、1本の動画からより多くの訓練サンプルを生成できます。
JoyAI-Video-Editのオープンソース公開先は以下のとおりです。
https://huggingface.co/jdopensource/JoyAI-Video-Edit
https://github.com/jd-opensource/JoyAI-Video-Edit