MAGI-2-preview – Mô hình tạo video đa phương thức mã nguồn mở của Sand.ai Đang hoạt động

MAGI-2-preview là mô hình tạo video đa phương thức MoE trăm tỷ tham số đầu tiên trên thế giới do Sand.ai mở nguồn, tổng 114B tham số, chỉ kích hoạt 6B. Mô hình tiếp nối kiến trúc luồng đơn, đưa văn bản, video và âm thanh vào cùng một Transformer để mô hình hóa liên hợp, hiện thực hóa tạo đa phương thức gốc, xếp hạng thứ sáu trên bảng xếp hạng tạo video AA. Mã nguồn và trọng số tiền huấn luyện đã được mở, xác nhận hướng Scaling hiệu quả mới trong lĩnh vực tạo video.

Tạo video đa phương thức: hỗ trợ tạo từ văn bản, hình ảnh, video sang video, đồng thời tích hợp sẵn hiểu âm thanh.
Kích hoạt thưa MoE: trong tổng 114B tham số chỉ kích hoạt 6B, giảm mạnh chi phí suy luận.
Kiến trúc thống nhất luồng đơn: bỏ cách ghép cross-attention truyền thống, từ lớp đầu đã mô hình hóa chung hình ảnh và âm thanh.
Scaling hiệu quả: tái cấu trúc giao tiếp MoE và độ ổn định huấn luyện cho kịch bản tạo video, giải quyết nút thắt giao tiếp liên card với chuỗi siêu dài.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc hỗn hợp chuyên gia MoE: tổng dung lượng mô hình đạt 114B, mỗi lần lan truyền xuôi chỉ kích hoạt 6B tham số, tách dung lượng khỏi tính toán.
Transformer luồng đơn: token văn bản, video và âm thanh từ lớp đầu vào cùng một Transformer, trao đổi thông tin liên phương thức trực tiếp qua self-attention, thuận lợi hơn kiến trúc ghép nhiều tháp trong việc nắm bắt chi tiết đồng bộ âm–hình.
Tối ưu giao tiếp phân tán: dựa trên đặc tính chuỗi siêu dài của video, tái cấu trúc định tuyến token và chiến lược giao tiếp trong song song chuyên gia, giảm chi phí truyền dữ liệu liên GPU.
Giải pháp ổn định huấn luyện: cơ chế bảo đảm ổn định ba lớp gồm định tuyến động, cân bằng tải chuyên gia và huấn luyện liên hợp dữ liệu đa phương thức.

Chuẩn bị môi trường: clone kho GitHub SandAI-org/MAGI-2-preview, cấu hình phụ thuộc theo README.
Tải trọng số: lấy trọng số tiền huấn luyện từ GitHub Releases.
Chạy suy luận: chỉnh tệp cấu hình và tham số script, hỗ trợ ba chế độ t2v / i2v / v2v, tham khảo định dạng run.sh của MAGI-1 để thực thi.
Yêu cầu phần cứng: cấu hình cụ thể chờ tài liệu chính thức cập nhật; khuyến nghị tham khảo phương án 24B đa card H100 hoặc 4.5B đơn card 24GB VRAM của MAGI-1.

Mã nguồn mở, có thể thương mại hóa: mô hình dùng giấy phép Apache 2.0, trọng số tiền huấn luyện và mã suy luận hoàn toàn mở.
Tiên phong MoE trăm tỷ: mô hình tạo video MoE cấp trăm tỷ đầu tiên trên thế giới được mở nguồn thành công, xác nhận hướng Scaling mới trong lĩnh vực video.
Dung lượng cao, chi phí thấp: chỉ 6B tham số kích hoạt đã vận hành mô hình 114B, chi phí suy luận thấp hơn nhiều so với mô hình dày cùng quy mô.
Đa phương thức gốc: kiến trúc luồng đơn giúp âm thanh và video hòa quyện sâu ngay từ tầng dưới của mô hình, tránh độ trễ và suy giảm chất lượng do căn chỉnh hậu kỳ.

Trang chính thức dự án：https://sand.ai/blog/magi-2-preview
Kho GitHub：https://github.com/SandAI-org/MAGI-2-preview
Thư viện mô hình HuggingFace：https://huggingface.co/sand-ai/MAGI-2-preview

Quảng cáo video dài và phim ngắn: dung lượng lớn MoE hỗ trợ mô hình hóa tường thuật phức tạp, có thể tạo video cốt truyện liền mạch cấp phút.
Dựng trước phim đa phương thức: khả năng hiểu âm thanh gốc giúp tạo và chỉnh sửa đồng bộ lời thoại, hiệu ứng âm thanh với hình ảnh.
Nghiên cứu học thuật video AI: trọng số MoE video cấp trăm tỷ mã nguồn mở cung cấp đường cơ sở Scaling có thể tái lập cho giới học thuật.
Triển khai riêng tư doanh nghiệp: mô hình dựa trên giấy phép Apache 2.0 hỗ trợ các ngành nhạy cảm như tài chính, y tế xây dựng năng lực tạo video riêng.
Tạo phát trực tuyến thời gian thực: kích hoạt thưa giảm chi phí suy luận, có thể hỗ trợ tạo video thời gian thực độ trễ thấp và kịch bản livestream.