징둥은 오늘 자체 개발한 실시간 스트리밍 동영상 편집 모델 JoyAI-Video-Edit를 오픈소스로 공개한다고 발표했다. 사용자는 영상을 시청하면서 인물과 장면을 수정할 수 있어, 영상 제작을 ‘먼저 소재를 확보한 뒤 수정하는 방식’에서 실시간 상호작용 편집으로 전환할 수 있다.
징둥 측은 스트리밍 실시간 동영상 편집 분야에서 JoyAI-Video-Edit가 현재 업계 대표 모델들과 비교해 모든 지표에서 앞서며 세계 최고 수준에 도달했다고 밝혔다.
동영상 실시간 편집에서 가장 먼저 해결해야 할 문제는 속도다. 동영상은 연속된 프레임으로 구성되므로 모델 처리 속도가 재생 속도를 따라가지 못하면 끊김과 지연이 발생한다. JoyAI-Video-Edit는 전 자체 개발한 JoyAI-Video 모델을 기반으로 720P 해상도에서 초당 30프레임의 모델 추론 속도를 구현해 높은 화질을 유지하면서도 일반적인 영화·영상의 재생 속도를 따라갈 수 있다.
영상 길이 역시 스트리밍 편집의 장벽 중 하나다. 기존 스트리밍 편집 모델은 몇 초 또는 몇 분 단위의 클립만 처리할 수 있었지만, JoyAI-Video-Edit는 길이에 제한 없이 안정적인 스트리밍 편집을 지원해 영상이 계속 재생되는 동안 지속적으로 처리할 수 있다. 사용자는 영상 전체가 생성되기를 기다릴 필요 없이 재생 중에 장면을 실시간으로 수정하고, 사물을 교체하며, 인물의 모습을 조정하거나 화면 스타일을 바꿀 수 있어 ‘시청하면서 동시에 창작’할 수 있다.
예를 들어 창작자는 영상 속 인물의 옷을 연속해서 바꾸거나, 라이브 방송 중 평범한 거리를 애니메이션 세계로 바꿀 수 있다. 또한 홈 인테리어 디자인에서 다양한 가구, 벽면과 조명 효과를 시도할 수도 있다.
모델의 성능을 평가하기 위해 연구팀은 JoyAI-Video-Edit를 SANA Streaming, LiveEdit, Xmax-X2.0 등 국제적으로 대표적인 스트리밍 동영상 편집 모델과 비교했다. 그 결과, 대표적인 동영상 편집 시나리오를 아우르는 평가 데이터에서 JoyAI-Video-Edit가 종합적으로 크게 앞서는 것으로 나타났다.
업계 권위의 OpenVE-Bench 종합 평가에서 모델은 현재 존재하는 모든 스트리밍 편집 방법을 능가했으며, 전체적인 스타일, 부분 교체, 부분 삭제와 자막 편집 등의 작업에서 특히 뛰어난 성능을 보이며 업계 유사 모델을 크게 앞섰다.
JoyAI-Video-Edit는 영상 제작뿐 아니라 체화 지능 데이터의 대규모 합성을 위한 새로운 기술 경로도 제시한다. 로봇 훈련에는 다양한 물체를 잡고, 운반하고 조작하는 영상이 대량으로 필요하지만, 실제 기기에서 데이터를 수집하는 비용은 높고 위험하거나 드문 상황은 반복 수집하기도 어렵다. 장면, 물체와 화면 콘텐츠를 제어 가능하게 편집하는 기능을 바탕으로 JoyAI-Video-Edit는 사람의 손으로 조작하는 영상을 로봇 손 또는 로봇 팔 조작 소재로 변환할 수 있다. 또한 물체의 위치, 공간적 관계와 동작 궤적을 유지하면서 장면, 물체와 로봇의 형태를 바꿔 하나의 영상에서 더 많은 훈련 샘플을 확장해 생성할 수 있다.
JoyAI-Video-Edit 오픈소스 주소는 다음과 같다:
https://huggingface.co/jdopensource/JoyAI-Video-Edit
https://github.com/jd-opensource/JoyAI-Video-Edit