HiDream-O1-Video-1.0 Đang hoạt động

HiDream-O1-Video-1.0 (viết tắt là HD-V1) là mô hình tạo video đa phương thức nguyên bản do HiDream.ai phát triển, hỗ trợ các đầu vào đa phương thức như văn bản, hình ảnh và video, cho phép tạo trực tiếp video 1080p dài 5–20 giây chỉ với một thao tác. Mô hình nổi bật với khả năng tạo nội dung theo các quy luật vật lý và tích hợp âm thanh, hình ảnh nguyên bản. Trên bảng xếp hạng tạo video từ hình ảnh của Artificial Analysis (With Audio), mô hình đứng thứ tư toàn cầu và đứng thứ tám trong bảng kiểm thử mù của Arena.ai, đánh dấu việc video AI Trung Quốc bước vào nhóm dẫn đầu thế giới.

Đầu vào đa phương thức: hỗ trợ văn bản, hình ảnh, video và nhiều phương thức khác làm điều kiện tạo.
Xuất video độ trung thực cao: tạo video 1080p chất lượng cao dài 5–20 giây chỉ với một lần nhấp.
Hiểu ý định: mô-đun hiểu đa phương thức tiền xử lý chuyển đổi đầu vào ngôn ngữ tự nhiên thành kế hoạch chuyên nghiệp gồm cảnh quay, nhân vật, hành động, hiệu ứng âm thanh và các yếu tố khác.
Tạo theo quy luật vật lý: các quy luật vật lý như trọng lực, va chạm và quán tính được tích hợp vào logic tạo, giúp biến dạng và chuyển động trong hình ảnh phù hợp với thế giới thực.
Lập kế hoạch thời lượng thông minh: tự động quyết định thời lượng video dựa trên logic sự kiện và nhịp điệu kể chuyện, thay vì máy móc lấp đầy một khung thời lượng cố định.
Tích hợp hình ảnh và âm thanh: mô hình hóa kết hợp các tín hiệu văn bản, video và âm thanh, giúp khẩu hình, hiệu ứng âm thanh và hình ảnh đồng bộ tự nhiên.
Tính nhất quán trong kể chuyện và nhân vật: áp dụng quy trình lập kế hoạch trước, tạo kết hợp, sau đó căn chỉnh Reward, đảm bảo mạch kể chuyện liền mạch trong các cảnh quay dài và nhân vật không bị biến dạng.

Kiến trúc hợp nhất đa phương thức nguyên bản: HD-V1 sử dụng kiến trúc đa phương thức nguyên bản do Intellifusion tự phát triển. Ngay từ đầu, kiến trúc đã hướng đến việc biểu diễn thống nhất văn bản, video và âm thanh; cả ba được mô hình hóa, ràng buộc và căn chỉnh đồng thời trong cùng một quá trình sinh. Chuyển động hình ảnh dẫn dắt nhịp điệu âm thanh, lời thoại và hiệu ứng âm thanh tác động ngược đến cảm xúc của cảnh quay, còn điều kiện văn bản xuyên suốt toàn bộ quá trình.
Mô-đun hiểu ý định đa phương thức ở giai đoạn đầu: Trước tiên, mô hình sử dụng mô hình hiểu đa phương thức để phân tích sâu và lập kế hoạch có cấu trúc cho đầu vào của người dùng, chuyển ngôn ngữ tự nhiên mang tính khẩu ngữ và mơ hồ thành các trường chuyên môn như thời lượng cảnh quay, địa điểm, nhân vật xuất hiện, hành động và biểu cảm, cỡ cảnh và bố cục, tiêu cự khi chuyển động máy quay, lời thoại và âm thanh nền. Hiểu càng sâu thì lập kế hoạch càng ổn định; kế hoạch càng ổn định thì quá trình sinh đồng thời về sau càng ít lệch hướng, từ nguồn gốc tránh bỏ sót ý định, cảnh quay thiếu nhất quán và nhân vật bị biến dạng.
Logic sinh tích hợp các quy luật vật lý: Vật thể rơi xuống dưới tác động của trọng lực như thế nào, phản hồi ra sao khi va chạm, quán tính được duy trì như thế nào, ánh sáng và bóng tối suy giảm ra sao, không gian duy trì tính liên tục như thế nào.
Quy trình sinh ba giai đoạn: lập kế hoạch — sinh — căn chỉnh: Intellifusion đề xuất phương pháp kỹ thuật gồm lập kế hoạch trước, sinh đồng thời sau đó và cuối cùng căn chỉnh bằng Reward đa phương thức. Trước hết, mô hình lập kế hoạch ở cấp độ tổng thể cho diễn biến câu chuyện và trạng thái nhân vật; trong quá trình sinh đồng thời, mô hình ràng buộc hình ảnh, hành động và ngữ nghĩa; sau đó sử dụng tín hiệu phần thưởng đa phương thức để căn chỉnh thống nhất chất lượng hình ảnh, tính mạch lạc và tính hợp lý vật lý, bảo đảm sự nhất quán tổng thể trong các cảnh quay dài, nơi nhân vật, cảm xúc và động cơ tác động lẫn nhau.

Xác nhận trạng thái mở: Hiện tại mô hình đang trong giai đoạn thử nghiệm nội bộ, chưa được công khai rộng rãi; cần đăng ký quyền trải nghiệm sớm tại https://n1y46cmwsp.feishu.cn/share/base/form/shrcnVBeO99NQQWARxNirglcbct.
Quét mã để điền biểu mẫu đăng ký: Nhấn và giữ để quét mã QR, sau đó truy cập trang biểu mẫu đăng ký.
Gửi thông tin đăng ký: Điền thông tin cá nhân/doanh nghiệp và nhu cầu sử dụng theo yêu cầu của biểu mẫu, sau đó chờ phê duyệt chính thức.
Chờ thông báo kích hoạt: Sau khi được phê duyệt, bạn sẽ nhận được quyền trải nghiệm thử nghiệm nội bộ.
Trải nghiệm khả năng của mô hình: Sau khi được cấp quyền, bạn có thể sử dụng cổng truy cập chính thức để nhập văn bản, hình ảnh hoặc video và tạo video 1080p tích hợp hình ảnh và âm thanh dài 5–20 giây chỉ với một lần nhấp.

Kiến trúc đa phương thức nguyên bản: Mô hình video đầu tiên trong ngành đồng thời mô hình hóa văn bản, video và tín hiệu âm thanh, tạo hình ảnh và âm thanh thống nhất ngay từ đầu.
生成 theo định hướng quy luật vật lý: Các quy luật vật lý như trọng lực, va chạm, quán tính, suy giảm ánh sáng và tính liên tục không gian được mô hình thực sự thấu hiểu và đưa vào logic tạo sinh; biến dạng hình ảnh, phản hồi chuyển động và hiệu ứng âm thanh mô phỏng đều phù hợp với quan hệ nhân quả thực tế.
Thấu hiểu ý định chuyên sâu: Mô-đun thấu hiểu ý định đa phương thức ở đầu vào sẽ cấu trúc hóa các yêu cầu khẩu ngữ, rời rạc của người dùng thành phương án chuyên nghiệp gồm thời lượng cảnh quay, cỡ cảnh và bố cục, chuyển động máy quay, hành động và biểu cảm, lời thoại cùng hiệu ứng âm thanh, từ đó ngăn ngừa ngay từ đầu việc bỏ sót ý định và sự thiếu nhất quán giữa các cảnh.
Thời lượng phục vụ mạch kể chuyện: Phá vỡ logic truyền thống “lấp đầy nội dung trong khung thời lượng cố định”. Mô hình tự lập kế hoạch thời lượng dựa trên diễn biến sự kiện và nhịp kể chuyện, tránh những khoảng chờ vô nghĩa hoặc việc phát chậm để kéo dài thời lượng sau khi hành động đã hoàn tất.
Mạch kể chuyện liền mạch và nhân vật nhất quán: Áp dụng quy trình kỹ thuật “lập kế hoạch trước, tạo sinh liên hợp sau, rồi đối chiếu bằng Reward đa phương thức”, kết hợp Diffusion RL và mô hình Reward được căn chỉnh theo nhận thức của con người để đảm bảo nhân vật, cảm xúc và động cơ trong các cảnh liên tiếp luôn nhất quán, không bị biến đổi.

Video quảng cáo và tiếp thị: xuất trực tiếp video sản phẩm 1080p đồng bộ hình ảnh và âm thanh, loại bỏ chi phí lồng tiếng hậu kỳ; khả năng tái hiện chất liệu chân thực về mặt vật lý phù hợp với việc trưng bày sản phẩm cao cấp.
Sáng tạo nội dung video ngắn/mạng xã hội: thời lượng tự thích ứng 5–20 giây phù hợp tự nhiên với nhịp điệu video ngắn; chỉ cần câu lệnh mang tính khẩu ngữ là có thể tạo video hoàn chỉnh kèm hiệu ứng âm thanh và khẩu hình đồng bộ.
Tiền kỳ điện ảnh và phân cảnh (Previs): lập kế hoạch có cấu trúc cho góc máy, cỡ cảnh, chuyển động máy quay và hiệu ứng âm thanh, giúp đạo diễn nhanh chóng kiểm chứng nhịp kể chuyện và tính khả thi của hình ảnh trước khi quay.
Trình bày sản phẩm thương mại điện tử dạng động: chỉ cần nhập hình ảnh sản phẩm là có thể tạo video bối cảnh sử dụng; chuyển động vật thể chân thực theo quy luật vật lý, hiệu ứng âm thanh đồng bộ giúp tăng tỷ lệ chuyển đổi.
Nội dung giáo dục và phổ biến khoa học: chuyển các điểm kiến thức rời rạc thành phần minh họa động chính xác theo quy luật vật lý; âm thanh và hình ảnh đồng bộ giúp giảm ngưỡng tiếp thu.