Vidu S2 Đang hoạt động

Vidu S2 là mô hình video thời gian thực do ShengShu Technology phát triển, mở trải nghiệm ngay khi ra mắt, gồm hai mô hình cốt lõi. S2-Editing hỗ trợ thay đổi phong cách, trang phục, nhân vật và bối cảnh theo thời gian thực trên luồng video; công nghệ căn chỉnh khung hình đảm bảo chuyển động tốc độ cao không bị lỗi hình. S2-Avatar tạo tương tác thời gian thực ở 720P, 25-42FPS, cho phép chèn ảnh tham chiếu và thay trang phục bất kỳ lúc nào, hỗ trợ theo dõi chuyển động toàn thân; đạt kết quả tốt nhất ở chín hạng mục của StreamAV-Bench. Công nghệ SRF độc quyền chấm dứt hiện tượng trôi khi tạo nội dung dài, đồng thời mở ra hướng khám phá video không gian Spatial dành cho VR.

Chỉnh sửa thời gian thực với S2-Editing: thay đổi phong cách, thử đồ ảo, thay nhân vật và bối cảnh theo thời gian thực trên video đang phát, chỉ cần một câu lệnh văn bản và một ảnh tham chiếu tùy chọn.
Tương tác thời gian thực với S2-Avatar: tạo nhân vật chất lượng cao ở 720P, 25-42FPS theo thời gian thực, hỗ trợ chèn vật thể tham chiếu mới bất kỳ lúc nào để nhân vật “đón lấy” và duy trì ghi nhớ trạng thái.
Thay trang phục thời gian thực bằng một cú nhấp: tải lên một ảnh khi luồng video không bị gián đoạn, nhân vật sẽ lập tức thay trang phục, chuyển động liền mạch và cảm xúc không bị gián đoạn.
Theo dõi chuyển động toàn thân: hỗ trợ trình diễn toàn thân với các chỉ dẫn như độc vũ và hoạt hình 2D/3D, vượt qua giới hạn của nhân vật số dạng “đầu biết nói” truyền thống.
Video không gian Vidu S2-Spatial: chuyển video thời gian thực đơn nhãn thành hình ảnh đồng bộ cho mắt trái và mắt phải, mang đến trải nghiệm thời gian thực không gian hóa cho các thiết bị nhập vai như VR.

Chú ý thưa căn chỉnh khung hình: công nghệ nền tảng cốt lõi của S2-Editing. Khi chỉnh sửa thời gian thực, công nghệ này khóa chặt và căn chỉnh từng khung hình mới với đúng thời điểm tương ứng trong video gốc, đảm bảo quỹ đạo chuyển động sau khi thay trang phục hoặc nhân vật không bị lỗi hình và hình ảnh không bị xé. Đây là giải pháp cho bài toán ổn định khi chỉnh sửa hình ảnh thời gian thực trong video có chuyển động tốc độ cao.
Công nghệ huấn luyện SRF (Self-Replay Forcing): được phát triển độc quyền để chấm dứt hiện tượng “sụp đổ” và “trôi” khi tạo luồng nội dung dài. Công nghệ buộc mô hình đối diện với lịch sử tạo nội dung của chính mình và tự sửa lỗi, tương đương với việc trao cho mô hình “khả năng ghi nhớ để tự sửa lỗi”, giúp mô hình tiếp tục “diễn” ổn định trong các cảnh luôn thay đổi.
Cơ chế tham chiếu động: S2-Avatar cho phép người dùng bổ sung ảnh tham chiếu mới tại bất kỳ thời điểm nào trong quá trình tạo video. Mô hình phản hồi ngay lập tức, đưa yếu tố mới vào khung hình và liên tục giữ lại thông tin trạng thái, tạo ra tương tác liền mạch với quan hệ nhân quả trước sau.
Chuyển đổi video không gian: thuật toán tạo hình ảnh đồng bộ cho mắt trái và mắt phải từ video thời gian thực đơn nhãn. Với đầu vào từ một camera duy nhất, hệ thống mô phỏng thị sai hai mắt, giúp video vừa liên tục theo thời gian vừa duy trì tính nhất quán về nhận thức không gian, mở đường cho trải nghiệm VR thời gian thực.

Trải nghiệm trên web: truy cập https://vidu.com/vidu-stream để dùng thử theo thời gian thực.
Tích hợp API: nhà phát triển có thể xem tài liệu tại platform.vidu.com/vidu-stream/doc và tích hợp các khả năng của S2.
Chỉnh sửa thời gian thực: nhập một câu lệnh văn bản và tải lên một ảnh tham chiếu tùy chọn trong khi video đang phát để thay đổi phong cách, trang phục, nhân vật hoặc bối cảnh.
Tương tác thời gian thực: trò chuyện với S2-Avatar để điều khiển nhân vật trình diễn, đồng thời tải ảnh lên bất kỳ lúc nào để nhân vật giới thiệu vật phẩm mới hoặc thay trang phục bằng một cú nhấp.

Thời gian thực đích thực: đầu ra dạng luồng 720P, 25-42FPS, không làm gián đoạn video trong cả quá trình chỉnh sửa và tương tác.
Năng lực chỉnh sửa toàn diện: bao phủ bốn hướng chỉnh sửa thời gian thực gồm phong cách, trang phục, nhân vật và bối cảnh, đáp ứng các bối cảnh thương mại chính như thương mại điện tử, livestream và tiếp thị.
Tham chiếu động và ghi nhớ trạng thái: có thể chèn yếu tố mới bất kỳ lúc nào để nhân vật “ghi nhớ” ngữ cảnh, giúp tương tác liền mạch và giàu cảm xúc, vượt qua giới hạn của nhân vật số dạng “đầu biết nói”.
Độ ổn định dài hạn cao: công nghệ huấn luyện tự sửa lỗi SRF chấm dứt hiện tượng sụp đổ và trôi khi tạo luồng nội dung, giúp nhân vật diễn ổn định trong thời gian dài.
Dẫn đầu về điểm chuẩn: S2-Avatar đạt kết quả tốt nhất ở chín hạng mục của StreamAV-Bench; Editing dẫn đầu ở các khía cạnh quan trọng như thực hiện chỉ dẫn, tái tạo diện mạo và bảo toàn chuyển động.
Ngưỡng sử dụng thấp, hiệu quả cao: mở trải nghiệm ngay khi ra mắt, một video gốc có thể biến thành nhiều nội dung phong cách khác nhau, giúp giảm đáng kể chi phí bối cảnh, quay phim và hậu kỳ.

Livestream thương mại điện tử: người hâm mộ yêu cầu nước hoa hoặc quần áo, nhân vật có thể trình diễn ngay hoặc thay trang phục bằng một cú nhấp, tái hiện trải nghiệm tư vấn mua hàng chân thực.
Thử đồ ảo: người tiêu dùng có thể trực tiếp xem trang phục ôm theo chuyển động cơ thể trước khi mua, giảm chi phí ra quyết định và tỷ lệ trả hàng.
Thương mại hóa IP: thần tượng ảo của thương hiệu hoặc nhân vật chính trong game có thể “đổ bộ” vào phòng livestream để bán hàng thay người thật, tối đa hóa cảm giác nhập vai của người hâm mộ.
Thương mại điện tử xuyên biên giới và tiếp thị theo bối cảnh: thay bối cảnh bằng một cú nhấp, chẳng hạn chuyển ngay sang núi tuyết khi bán áo khoác leo núi hoặc đưa người mẫu vào sàn diễn ở Paris khi bán mỹ phẩm, giúp chi phí dựng bối cảnh gần như bằng không.
Sản xuất nội dung biến thể hàng loạt: tạo hàng loạt nội dung theo nhiều phong cách như cyberpunk, tranh thủy mặc và anime từ một video quay thực tế, phục vụ việc đưa phim ngắn ra nước ngoài, quảng cáo game và các chiến dịch khuyến mãi lớn của thương hiệu.