WorldCast Đang hoạt động

WorldCast là mô hình tạo video do Đại học Vũ Hán phối hợp với Xiaomi mã nguồn mở. Với một ảnh tham chiếu nhân vật, quỹ đạo camera mục tiêu và 1–4 ảnh neo ở các góc nhìn bất kỳ, mô hình có thể tạo video trong đó camera xoay 360 độ quanh nhân vật mà danh tính nhân vật vẫn nhất quán. WorldCast thực hiện điều này bằng hai cơ chế: một cơ chế xử lý quỹ đạo camera, khôi phục ảnh tham chiếu thành đám mây điểm rồi kết xuất từng khung hình để dẫn hướng theo quỹ đạo; cơ chế còn lại xử lý tính nhất quán giữa các góc nhìn, lưu ảnh neo thành bộ nhớ có thể truy xuất, khi camera chuyển đến góc nào sẽ lấy thông tin tương ứng của góc đó, tránh biến đổi khuôn mặt khi nhân vật quay lưng về phía camera.

Điều khiển camera với góc quay lớn: nhập quỹ đạo camera mục tiêu để camera xoay quanh nhân vật, tiến gần, lùi xa hoặc quay vòng, hỗ trợ chuyển động tròn tối đa 360 độ.
Tính nhất quán danh tính giữa các góc nhìn: các đường nét khuôn mặt, kiểu tóc và trang phục của nhân vật trong video được tạo vẫn giữ cùng một danh tính ở mọi góc nhìn.
Bổ sung bằng ảnh neo đa góc nhìn: tiếp nhận 1–4 ảnh neo ở các góc nhìn bất kỳ làm thông tin bổ sung, chuyên dùng để hoàn thiện phần không thể thấy từ một ảnh tham chiếu duy nhất.
Tạo nội dung với điều kiện kép văn bản và hình ảnh: kết hợp lời nhắc văn bản với ảnh nhân vật ban đầu để tạo các khung hình tiếp theo có thể kiểm soát dọc theo quỹ đạo, phù hợp với trình diễn nhân vật, tiền kỳ quay ảo và các kịch bản khác.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Dẫn hướng hình học căn chỉnh theo quỹ đạo: sử dụng bộ ước lượng độ sâu được huấn luyện trước để ước tính độ sâu từ ảnh tham chiếu ban đầu, chiếu ngược hình ảnh thành đám mây điểm 3D có màu; thông qua hiệu chỉnh, tìm tỷ lệ giúp chuyển động kết xuất khớp nhất với quỹ đạo mục tiêu, sau đó dùng point splatting cùng bộ đệm độ sâu để kết xuất ảnh dẫn hướng RGB từng khung hình và mặt nạ phủ dọc theo quỹ đạo. Đồng thời, mã hóa tia Plücker cung cấp thông tin hình học của camera mục tiêu và được nối kênh với latent nhiễu cùng điều kiện khung hình ban đầu trước patch embedding. Mặt nạ phủ đánh dấu các pixel chưa được đám mây điểm bao phủ, cho bộ tạo biết khu vực nào cần tự do hoàn thiện.
Chú ý bộ nhớ hình học căn chỉnh (GAMA): thực hiện phân đoạn tiền cảnh và ước tính hình học cho ảnh ban đầu cùng các ảnh neo, sử dụng phép căn chỉnh Umeyama để đưa camera của từng ảnh neo vào cùng hệ tọa độ với quỹ đạo mục tiêu; sau khi mỗi quan sát được mã hóa bằng VAE và gắn thêm biểu diễn tia Plücker, chúng được nối thành một “bộ nhớ nhân vật hình học căn chỉnh”. 20 khối chú ý bộ nhớ được chèn sau các khối 0, 2, …, 38 của backbone, giúp các token video và token bộ nhớ thực hiện self-attention kết hợp để truy xuất bằng chứng hình học bổ sung theo góc nhìn hiện tại; nhánh phần dư được khởi tạo bằng 0, không gây xáo trộn backbone đã huấn luyện trước trong giai đoạn đầu huấn luyện. Thí nghiệm loại bỏ cho thấy khi bỏ GAMA, độ tương đồng danh tính giảm từ 0.555 xuống 0.370.
Huấn luyện hai giai đoạn và xây dựng dữ liệu: giai đoạn đầu huấn luyện khả năng điều khiển camera trên 5 vạn chuỗi chuyển động camera tổng hợp bằng UE5. Thí nghiệm loại bỏ cho thấy khi bỏ dữ liệu này, sai số quỹ đạo ATE tăng xấu từ 0.100 lên 0.359; điều kiện Plücker cũng không thể thiếu. Giai đoạn hai huấn luyện chú ý bộ nhớ trên 3 vạn dữ liệu kết xuất điểm neo đa góc nhìn bằng Blender, bao phủ 99 nhân vật và 33 môi trường, tổng cộng 8 vạn mẫu. Mỗi mẫu cung cấp video tham chiếu, RGB-D ban đầu, các tham số nội và ngoại của camera, ảnh dẫn hướng kết xuất và mặt nạ phủ.

Sao chép kho lưu trữ: git clone https://github.com/PixCtrol/WorldCast rồi chuyển vào thư mục dự án.
Thiết lập môi trường: chuẩn bị Python ≥3.10 và GPU CUDA hỗ trợ bf16, sau đó chạy pip install -r requirements.txt.
Tải trọng số: tải mô hình nền Wan2.1-I2V-14B-720P từ HuggingFace và đặt vào pretrained/Wan2.1-I2V-14B-720P/, đồng thời đặt base_dit.safetensors và worldcast_bank.safetensors vào checkpoints/.
Chuẩn bị đầu vào: đặt 1 ảnh tham chiếu nhân vật và 1–4 ảnh neo, chỉ định đường dẫn hình ảnh, lời nhắc văn bản và quỹ đạo camera trong manifest (tệp kê khai).
Chạy suy luận: chạy python demo.py --manifest demo_case_traj5.json --model_root pretrained/Wan2.1-I2V-14B-720P --ckpt checkpoints/worldcast_bank.safetensors --init_dit_from checkpoints/base_dit.safetensors để tạo video.
Suy luận hàng loạt và tùy chỉnh: tham khảo scripts/infer/infer_worldcast.py và launch/infer/run_anchor_inference_example.sh để chạy suy luận hàng loạt; có thể tạo quỹ đạo bằng scripts/data/trajectories.py.

Tính nhất quán danh tính giữa các góc nhìn mạnh nhất: trên benchmark CLACT tự xây dựng, độ tương đồng danh tính ArcFace đạt 0.555, vượt rõ rệt các baseline như Uni3C; ngay cả khi camera xoay ra phía sau nhân vật, khuôn mặt vẫn không bị “biến dạng”.
Độ chính xác điều khiển camera cao nhất: sai số quỹ đạo ATE 0.065, RTE 0.020 và RRE 0.896 đều tốt nhất trong các phương pháp so sánh, hỗ trợ chuyển động xoay tròn tối đa 360 độ.
Thiết kế chuyên dụng cho cảnh có góc quay lớn: thông qua truy xuất bộ nhớ từ ảnh neo để chủ động hoàn thiện thông tin “mặt sau” không thể thấy trong ảnh đơn, được thiết kế riêng nhằm giải quyết tình trạng mất nhất quán danh tính ở các quỹ đạo góc lớn.
Đóng góp cơ chế có thể kiểm chứng: thí nghiệm loại bỏ cho thấy sau khi bỏ chú ý bộ nhớ GAMA, ArcFace giảm mạnh từ 0.555 xuống 0.370; nguồn lợi ích về tính nhất quán giữa các góc nhìn rõ ràng và không mang tính huyền bí.
Mức độ mở đầy đủ: bộ ba gồm bài báo, mã suy luận và trọng số mô hình đều đầy đủ, được phát hành theo giấy phép Apache-2.0, là một trong số ít công trình hoàn toàn mở trong lĩnh vực điều khiển camera.

Trang web dự án: https://pixctrol.github.io/WorldCast/
Kho GitHub: https://github.com/PixCtrol/WorldCast
Kho mô hình HuggingFace: https://huggingface.co/ly56/worldcast
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2610.33135

Trình diễn nhân vật xoay vòng: cho camera xoay 360 độ quanh nhân vật ảo, giữ nhất quán các chi tiết ngoại hình của trang phục, mô hình sưu tầm và thần tượng ảo.
Tiền kỳ quay ảo: trước khi quay thực tế, sử dụng nhân vật thay thế để diễn tập chuyển động camera theo quỹ đạo vị trí máy đã định, kiểm tra hiệu quả phân cảnh và giảm chi phí thử sai khi quay thật.
Video đa góc nhìn nhất quán cho người ảo: tạo tư liệu nhiều góc như người ảo xoay người, góc nghiêng và góc lưng, vẫn giữ “cùng một khuôn mặt”, phục vụ streamer ảo và video quảng bá hình ảnh.
Hoạt ảnh nhân vật game: tạo hoạt ảnh chuyển động camera xoay quanh cho cảnh chuyển tiếp hoặc trang giới thiệu nhân vật trong game, tránh chi phí lặp lại của việc dựng và kết xuất mô hình đa góc nhìn truyền thống.
Hoạt ảnh sản phẩm thương mại điện tử: tạo video xoay quanh sản phẩm để trình diễn, dùng cho trang chi tiết và sản xuất tư liệu quảng cáo.