JD hôm nay công bố mô hình JoyAI-Video-Edit chỉnh sửa video stream thời gian thực tự nghiên cứu và mở nguồn, cho phép người dùng xem video và chỉnh sửa nhân vật, bối cảnh trong lúc phát, biến việc tạo video từ 'có tài liệu trước rồi chỉnh sửa' thành chỉnh sửa tương tác thời gian thực.
JD chính thức cho biết, trong lĩnh vực chỉnh sửa video stream thời gian thực, JoyAI-Video-Edit vượt trội toàn diện so với các mô hình đại diện trong ngành hiện nay, đạt mức thế giới hàng đầu.
Chỉnh sửa video thời gian thực trước hết phải giải quyết vấn đề tốc độ. Video được tạo thành từ các khung hình liên tục, nếu tốc độ xử lý mô hình không theo kịp tốc độ phát, sẽ xảy ra tình trạng lag và trễ. JoyAI-Video-Edit dựa trên mô hình JoyAI-Video tự nghiên cứu hoàn toàn, đạt tốc độ suy luận 30 khung hình mỗi giây ở 720P, có thể theo kịp nhịp phát video phim thông thường trong khi giữ chất lượng hình ảnh cao.
Độ dài video cũng là rào cản của chỉnh sửa stream. Các mô hình chỉnh sửa stream trước đây chỉ có thể xử lý đoạn phim vài giây hoặc phút, trong khi JoyAI-Video-Edit hỗ trợ chỉnh sửa stream ổn định với bất kỳ độ dài nào, có thể xử lý liên tục trong khi video tiếp tục phát. Người dùng không cần chờ toàn bộ video được tạo xong, có thể chỉnh sửa cảnh, thay thế vật thể, điều chỉnh hình ảnh nhân vật hoặc thay đổi phong cách hình ảnh trong quá trình phát, thực hiện 'xem và tạo trực tiếp'.
Ví dụ, người sáng tạo có thể cho phép nhân vật trong video thay đổi liên tục trang phục, biến đường phố thông thường thành thế giới hoạt hình trong buổi phát trực tiếp, cũng có thể thử nghiệm các hiệu ứng đồ nội thất khác nhau, tường và ánh sáng trong thiết kế nội thất nhà.
Để đánh giá khả năng mô hình, nhóm nghiên cứu đã so sánh JoyAI-Video-Edit với các mô hình chỉnh sửa video stream đại diện quốc tế như SANA Streaming, LiveEdit, Xmax-X2.0. Kết quả cho thấy, trong dữ liệu đánh giá bao quát các cảnh chỉnh sửa video điển hình, JoyAI-Video-Edit vượt trội toàn diện về hiệu quả tổng thể.
Trong đánh giá OpenVE-Bench uy tín của ngành, mô hình vượt trội tất cả các phương pháp chỉnh sửa stream hiện tại, đặc biệt nổi bật trong các nhiệm vụ như phong cách toàn cục, thay thế cục bộ, xóa cục bộ và chỉnh sửa phụ đề, dẫn đầu rõ rệt so với các mô hình tương tự trong ngành.
Không chỉ trong sáng tạo video, JoyAI-Video-Edit còn cung cấp con đường kỹ thuật mới cho tổng hợp dữ liệu trí tuệ thể hiện quy mô lớn. Huấn luyện robot cần rất nhiều video bắt giữ, vận chuyển và thao tác vật thể, nhưng chi phí thu thập dữ liệu từ máy thật cao, các cảnh nguy hiểm hoặc hiếm cũng khó thu thập lặp lại. Tận dụng khả năng chỉnh sửa có thể kiểm soát cảnh, vật thể và nội dung hình ảnh, JoyAI-Video-Edit có thể chuyển đổi video thao tác tay thành tài liệu thao tác tay máy hoặc tay máy, và trên cơ sở giữ nguyên vị trí vật thể, quan hệ không gian và quỹ đạo hành động, thay thế cảnh, vật thể và hình dạng robot, cho phép một đoạn video mở rộng ra nhiều mẫu huấn luyện hơn.
Địa chỉ mở nguồn JoyAI-Video-Edit như sau:
https://huggingface.co/jdopensource/JoyAI-Video-Edit
https://github.com/jd-opensource/JoyAI-Video-Edit