InstructAV2AV – Mô hình chỉnh sửa âm thanh và video kết hợp mã nguồn mở do Zhiyuan và Đại học Bắc Kinh phát triển Đang hoạt động

InstructAV2AV là mô hình chỉnh sửa âm thanh và video kết hợp do Viện Trí tuệ Nhân tạo Bắc Kinh Zhiyuan và Đại học Bắc Kinh cùng phát triển. Người dùng chỉ cần một câu lệnh ngôn ngữ tự nhiên để đồng thời chỉnh sửa hình ảnh video và âm thanh tương ứng trong quá trình tạo đầu cuối, không cần tạo mặt nạ thủ công hay xử lý theo từng bước. Mô hình hỗ trợ chỉnh sửa lời thoại, thay thế nhân vật, chèn và xóa đối tượng, đồng thời giữ nguyên âm thanh nền và âm thanh môi trường, duy trì đồng bộ thời gian giữa hình ảnh và âm thanh.

Chỉnh sửa giọng nói giữ nguyên danh tính: Chỉ thay thế nội dung lời nói trong khi vẫn giữ nguyên diện mạo nhân vật.
Thay thế thực thể âm thanh-video: Thay thế nhân vật được chỉ định trong hình ảnh cùng với giọng nói và lời thoại của nhân vật đó.
Chèn thực thể: Thêm đối tượng mới vào hình ảnh và tự động tạo âm thanh đồng bộ với đối tượng.
Xóa thực thể: Xóa đối tượng được chỉ định cùng với âm thanh tương ứng trong track âm thanh.
Chỉnh sửa kết hợp thuộc tính: Có thể chỉnh sửa độc lập và kết hợp tự do diện mạo, nội dung lời nói và âm sắc của nhân vật.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Ghép nối latent của nguồn: Ghép latent của video nguồn và âm thanh nguồn với nhiễu theo chiều kênh, biến nội dung nguồn thành điều kiện cấu trúc trong toàn bộ quá trình khử nhiễu, ràng buộc mô hình giữ lại phông nền, các đối tượng không liên quan và âm thanh môi trường, tránh tình trạng “chỉ sửa một mục tiêu nhưng vẽ lại cả thế giới”.
SIGA Gated Attention: Source-Instruction Gated Attention cho phép mỗi token tương tác đồng thời với đặc trưng nguồn và đặc trưng chỉ thị, xác định theo từng vị trí mức độ cần thay đổi và giữ lại thông qua cơ chế cổng mềm có thể học, từ đó cân bằng động giữa việc bảo toàn nội dung và thực thi chỉ thị.
Kiến trúc tương tác hai luồng: Dựa trên Transformer khuếch tán hai luồng đối xứng Ovi, các nhánh video và âm thanh lần lượt lập mô hình bằng self-attention, sau đó trao đổi đặc trưng qua cross-modal attention hai chiều, giúp chuyển động hình ảnh và sự kiện âm thanh ràng buộc lẫn nhau và duy trì đồng bộ.
Huấn luyện hai giai đoạn: Tắt cross-modal attention để huấn luyện riêng năng lực chỉnh sửa đơn phương thức, sau đó khôi phục kiến trúc đầy đủ và tinh chỉnh kết hợp nhằm học mối tương ứng chi tiết giữa hình ảnh và âm thanh.
Quy trình dữ liệu tự động: Xây dựng bộ dữ liệu InsAVE-80K qua ba giai đoạn gồm sàng lọc tư liệu, tổng hợp mục tiêu chỉnh sửa, đánh giá tự động theo năm chiều kết hợp kiểm tra thủ công, giải quyết tình trạng khan hiếm dữ liệu huấn luyện theo cặp.

Sao chép mã: Sao chép kho mã InstructAV2AV từ GitHub về máy cục bộ.
Thiết lập môi trường: Làm theo hướng dẫn của kho mã để thiết lập môi trường Python và cài đặt các thư viện cần thiết.
Tải trọng số: Tải trọng số mô hình InstructAV2AV từ Hugging Face.
Chuẩn bị tư liệu: Chuẩn bị một video có âm thanh làm đầu vào.
Nhập chỉ thị: Nhập một câu lệnh chỉnh sửa bằng ngôn ngữ tự nhiên, mô tả nội dung cần thay đổi.
Chạy suy luận: Chạy tập lệnh suy luận và chờ mô hình tạo video cùng âm thanh đã chỉnh sửa.
Lưu kết quả: Xem kết quả đầu ra và lưu tệp âm thanh-video đã hoàn tất chỉnh sửa.

Trang web dự án: https://hjzheng.net/projects/InstructAV2AV/
Kho GitHub: https://github.com/suimuc/InstructAV2AV
Kho mô hình HuggingFace: https://huggingface.co/suimu/InstructAV2AV
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2605.18467

Hậu kỳ điện ảnh: Nhân viên hậu kỳ dùng mô hình để thay thế lời thoại của diễn viên và đồng bộ khẩu hình, giảm chi phí quay bổ sung.
Sản xuất video ngắn: Nhà sáng tạo video ngắn dùng một câu lệnh để thay đổi nhân vật và âm thanh trong tư liệu, nâng cao hiệu quả sáng tạo.
Người ảo: Đội ngũ vận hành người ảo dùng mô hình để điều chỉnh diện mạo, âm sắc và nội dung lời nói của nhân vật số.
Sáng tạo quảng cáo: Người làm quảng cáo dùng mô hình để tạo hàng loạt video quảng bá với các phiên bản nhân vật và lời thoại khác nhau.
Sản xuất nội dung tương tác: Người làm game và giáo dục dùng mô hình để tạo động các tư liệu đa phương tiện đồng bộ giữa hình ảnh và âm thanh.