FLUX 3 Đang hoạt động

FLUX 3 không chỉ là một công cụ tạo hình ảnh đơn lẻ mà là mô hình đa phương thức thống nhất có thể đồng thời xử lý hình ảnh, video và âm thanh. Mô hình có thể tạo nội dung dựa trên văn bản hoặc hình ảnh, video tham chiếu, đồng thời hỗ trợ tạo video kèm âm thanh, chỉnh sửa video và dự đoán hành động. Sản phẩm hiện đang ở giai đoạn Early Access và đơn vị phát triển đang từng bước mở quyền sử dụng các khả năng về video, hình ảnh cùng những mô hình liên quan.

Nhà sáng tạo nội dung video

Sử dụng văn bản, hình ảnh hoặc video tham chiếu để tạo video có âm thanh gốc, đồng thời kiểm soát thay đổi nội dung thông qua khung hình chính, mở rộng nội dung và chuyển video thành video.

Người dùng thiết kế và chỉnh sửa hình ảnh

Tận dụng mô hình để tổng hợp và chỉnh sửa hình ảnh, xử lý lời nhắc phức tạp, nhiều phong cách hình ảnh, tỷ lệ khung hình và nội dung văn bản đa ngôn ngữ.

Đội ngũ phát triển sản phẩm AI

Tích hợp khả năng tạo và chỉnh sửa hình ảnh, video, âm thanh thông qua API chính thức vào các sản phẩm sáng tạo nội dung hoặc trí tuệ thị giác đang phát triển.

Các đối tác nghiên cứu robot và thương mại được lựa chọn

Trong phạm vi hợp tác chính thức, sử dụng khả năng dự đoán hành động và tinh chỉnh dựa trên mô hình nền tảng video để khám phá các tình huống thao tác khéo léo và triển khai trong sản xuất.

Tạo video từ văn bản

Nhập lời nhắc bằng văn bản để tạo video dài tối đa khoảng 20 giây kèm âm thanh gốc, phù hợp để nhanh chóng tạo nội dung chuyển động với nhiều phong cách và tỷ lệ khung hình khác nhau.

Tạo video từ hình ảnh tham chiếu

Cung cấp khung hình mở đầu hoặc hình ảnh tham chiếu trực quan để tạo video, phù hợp cho hoạt ảnh hóa hình ảnh, mở rộng khung cảnh hoặc duy trì đặc điểm hình ảnh của chủ thể.

Chuyển video thành video

Tải lên video tham chiếu để đưa các yếu tố cốt lõi của video nguồn vào bối cảnh hoặc ngữ cảnh mới, phù hợp cho tái cấu trúc nội dung và chuyển đổi phong cách.

Mở rộng video và âm thanh

Dựa trên video và âm thanh đầu vào để tiếp tục tạo nội dung, giúp diễn biến hình ảnh và thông tin âm thanh được tiếp nối đồng thời.

Chuyển khung hình chính thành video

Cung cấp nhiều thời điểm chính đã xác định để tạo video kết nối các trạng thái khác nhau, hỗ trợ thiết kế có kiểm soát hơn các thay đổi cảnh và hiệu ứng chuyển tiếp.

Tổng hợp và chỉnh sửa hình ảnh

Tạo và sửa đổi hình ảnh dựa trên lời nhắc bằng văn bản hoặc nội dung tham chiếu, hỗ trợ nhiều phong cách, tỷ lệ khung hình, độ phân giải và cách hiển thị văn bản đa ngôn ngữ.

Tạo hội thoại đa ngôn ngữ

Xử lý hội thoại đa ngôn ngữ trong quá trình tạo video, kết hợp biểu đạt của nhân vật, nội dung hình ảnh và âm thanh trong cùng một kết quả video.

Dự đoán hành động

Dựa trên khả năng hiểu thế giới và các quy luật động lực của mô hình để dự đoán hành động, đồng thời hỗ trợ khám phá các nhiệm vụ thao tác khéo léo của robot thông qua những mô hình chuyên biệt.

Kiến trúc đa phương thức thống nhất

Mô hình học kết hợp hình ảnh, video và âm thanh trong cùng một kiến trúc, xem thông tin thu được từ các cảm biến khác nhau là những bằng chứng bổ trợ về cùng một thực tại.

Tạo âm thanh gốc cho video

Kết quả tạo video đi kèm âm thanh gốc, có thể liên kết âm thanh với các sự kiện vật lý trong hình ảnh thay vì chỉ tạo ra khung hình không tiếng.

Kết nối năng lực nội dung và hành động

Cùng một mô hình nền tảng đa phương thức phục vụ cả sáng tạo nội dung và dự đoán hành động, tạo nền tảng chung cho hiểu video, mô hình hóa động lực và nghiên cứu trí tuệ vật lý.

Sáng tạo liên tục nhiều cảnh quay

Theo giới thiệu chính thức, hệ thống hỗ trợ kết nối các phân đoạn độc lập thông qua tác nhân thông minh để hình thành chuỗi nhiều cảnh quay dài hơn, đồng thời duy trì tính nhất quán của nhân vật nhờ hình ảnh tham chiếu.

• Trang chính thức: FLUX 3: Multimodal Video, Image & Audio
• Tài liệu chính thức: The frontier of visual intelligence - Black Forest Labs
• Trang giới thiệu chính thức: About Black Forest Labs