H3-World Đang hoạt động

H3-World là mô hình thế giới có thể điều khiển bằng hành động do Tencent phối hợp với Đại học Quốc gia Singapore và Đại học Bách khoa Hong Kong phát triển, được tinh chỉnh dựa trên trình tạo video MiniMax-H3 33B. Mô hình chuyển thao tác bàn phím thành câu lệnh tiếng Anh, đưa vào mô hình thông qua luồng văn bản được tiền huấn luyện, đồng thời sử dụng cơ chế định tuyến attention theo thời gian để liên kết từng câu lệnh với khung hình video tương ứng, qua đó đạt được khả năng điều khiển căn chỉnh thời gian chính xác. H3-World chỉ sử dụng 8000 video trò chơi và LoRA rank-32 để tinh chỉnh 0.199% tham số, cho phép mô hình tạo hình ảnh có thể điều khiển theo thời gian thực từ thao tác bàn phím và khái quát hóa sang các bối cảnh chưa từng thấy, mở ra một bước tiến quan trọng hướng tới thế giới tương tác được tạo sinh.

Điều khiển video bằng thao tác bàn phím: chuyển chuyển động nhân vật và thao tác camera từ bàn phím thành những thay đổi tương ứng trong khung hình video, tạo mô phỏng thế giới tương tác với cơ chế “nhấn phím là điều khiển”.
Điều khiển chính xác theo thời gian: thực hiện các câu lệnh hành động khác nhau trong những khoảng thời gian khác nhau của cùng một video, kiểm soát chính xác thời điểm hành động xảy ra.
Khái quát hóa đa môi trường: bắt đầu từ việc huấn luyện trên hình ảnh trò chơi, mô hình có thể khái quát hóa sang nhiều môi trường hình ảnh như đô thị neon, ốc đảo sa mạc và nhà thờ kỳ ảo, đồng thời duy trì sự ổn định của nội dung cảnh.
Khái quát hóa hành động tổ hợp: kết hợp các động tác cơ bản của nhân vật/camera từng xuất hiện trong quá trình huấn luyện để tạo thành các cặp hành động chưa từng xuất hiện, đạt khả năng điều khiển khái quát hóa tổ hợp.
Tạo sinh dài hạn: hỗ trợ tạo video liên tục có thể điều khiển trong chuỗi thời gian dài hơn, với các câu lệnh hành động liên tục thúc đẩy diễn tiến của hình ảnh.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Biểu diễn hành động bằng ngôn ngữ: dịch thao tác bàn phím của mỗi khung hình thành một câu lệnh tiếng Anh ngắn gọn, chẳng hạn “strafe left”, để hành động tồn tại dưới dạng ngôn ngữ tự nhiên.
Tái sử dụng luồng văn bản được tiền huấn luyện: câu lệnh được đưa vào mô hình thông qua đường mã hóa văn bản vốn có của MiniMax-H3, trực tiếp tái sử dụng biểu diễn ngữ nghĩa đã học trong giai đoạn tiền huấn luyện video. Vì vậy, mô hình có thể hiểu ý nghĩa của hành động một cách tự nhiên mà không cần học mã hóa hành động từ đầu.
Định tuyến attention theo thời gian: sử dụng mặt nạ attention định hướng để liên kết từng câu lệnh với các khung latent video tương ứng, giới hạn tác động của câu lệnh trong khoảng thời gian đã định trước và tránh rò rỉ điều khiển giữa các hành động liền kề. Đây là yếu tố then chốt để đạt khả năng điều khiển chính xác theo thời gian.
Tinh chỉnh LoRA nhẹ: chỉ huấn luyện một LoRA rank-32 trên các phép chiếu self-attention của H3, sử dụng 0.199% tham số có thể huấn luyện, 8000 video trò chơi và 10000 bước tối ưu để hoàn tất việc thích ứng, giúp giảm đáng kể chi phí chuyển đổi trình tạo video thành mô hình thế giới.

Cách một: Trải nghiệm trực tuyến
Cách hai: Triển khai cục bộ
Mở Space trình diễn tương tác trên Hugging Face (hugging-apps/h3-world-action-demo) để trải nghiệm điều khiển bằng bàn phím mà không cần tải xuống 135GB trọng số.
Tải lên hoặc chọn một ảnh khung hình ban đầu, sau đó nhập prompt mô tả cảnh.
Nhập lệnh điều khiển bằng các hành động có sẵn hoặc phím bàn phím (di chuyển nhân vật + thao tác camera).
Mô hình tạo theo thời gian thực một đoạn video có thể điều khiển dài khoảng 5.2 giây, kích thước 832×480.
Chuẩn bị môi trường: tạo môi trường conda với Python 3.10 + CUDA 12.8, cài đặt PyTorch 2.10 và các dependency trong requirements.txt.
Lấy mã nguồn: clone kho chính thức H3-World, đồng thời clone DiffSynth-Studio vào thư mục được chỉ định, chuyển sang commit được chỉ định rồi áp dụng bản vá attention chính thức (không được bỏ qua, nếu không LoRA sẽ không có hiệu lực).
Tải trọng số: tải trọng số nền MiniMax-H3 từ Hugging Face (khoảng 135GB) và LoRA H3-World (step-10000.safetensors), đặt vào các thư mục tương ứng trong kho.
Cấu hình bộ nhớ đệm: chạy env.sh để trỏ bộ nhớ đệm của Hugging Face, Torch và Triton vào bên trong kho.
Chạy suy luận: cung cấp ảnh khung hình đầu tiên, điều kiện ngữ nghĩa tĩnh và chuỗi hành động dạng lịch trình thời gian (mỗi đoạn tương ứng với một câu lệnh về nhân vật/camera).
Tạo kết quả: mô hình tạo các latent video theo chuỗi thời gian tương ứng với lịch trình hành động rồi giải mã để xuất video, đồng thời có thể tự hồi quy để mở rộng thời lượng.

Thiết kế tinh gọn, không thêm module: trực tiếp tái sử dụng luồng văn bản được tiền huấn luyện, biến bài toán điều khiển hành động thành bài toán hiểu ngôn ngữ vốn là thế mạnh của mô hình.
Chi phí huấn luyện cực nhẹ: chỉ sử dụng 8000 video trò chơi, 10000 bước tối ưu và LoRA rank-32 để tinh chỉnh 0.199% tham số, khai mở khả năng điều khiển tương tác của mô hình 33B.
Khả năng điều khiển chính xác theo thời gian: nhờ định tuyến attention theo thời gian, mô hình có thể thực hiện các hành động khác nhau theo lịch trình trong cùng một video, giải quyết hạn chế của prompt toàn cục vốn không thể kiểm soát chính xác thời điểm hành động.
Vượt trội so với các phương thức đưa điều kiện truyền thống: so với các phương pháp điều kiện hành động trực tiếp như additive-bias và FiLM, phương thức neo ngôn ngữ có thể tạo ra chuyển động phối hợp giữa nhân vật và camera mà không phá hỏng nội dung cảnh.
Khả năng khái quát hóa tổ hợp mạnh: kết hợp các động tác cơ bản từng thấy trong quá trình huấn luyện thành các cặp hành động chưa từng xuất hiện, đồng thời khái quát hóa sang môi trường hình ảnh ngoài phân phối.
Tính phổ quát cao: một mô hình duy nhất có thể xử lý nhiều loại điều khiển như góc nhìn thứ nhất/thứ ba, di chuyển nhân vật và chuyển động camera mà không cần huấn luyện riêng cho từng nhiệm vụ.

Trang web dự án: https://danzer1xxxxchan.github.io/H3-World/
Kho GitHub: https://github.com/Danzer1xxxxChan/H3-World
Kho mô hình HuggingFace: https://modelscope.cn/models/DANNY621/H3-World
Bài báo kỹ thuật: https://modelscope.cn/papers/2609.01560

Phát triển nguyên mẫu trò chơi: nhà thiết kế chỉ cần nhập hình ảnh ban đầu là có thể “chơi” cảnh ảo theo thời gian thực, nhanh chóng kiểm chứng ý tưởng màn chơi và ngôn ngữ máy quay mà không cần xây dựng hoàn chỉnh game engine.
Môi trường sandbox huấn luyện AI Agent: cung cấp môi trường ảo có thể tương tác cho tác nhân hiện thân; agent khám phá thế giới bằng thao tác bàn phím và nhận phản hồi hình ảnh, giúp giảm chi phí huấn luyện trong thế giới thực.
Tiền kỳ điện ảnh và hoạt hình: đạo diễn điều khiển camera ảo bằng bàn phím (lia, di chuyển, nâng hạ) để tạo bản xem trước storyboard theo thời gian thực, rút ngắn đáng kể chu kỳ sản xuất previz.
Kiểm chứng chiến lược vận hành robot: ánh xạ lệnh di chuyển của cánh tay robot/drone thành ngôn ngữ hành động, sau đó kiểm tra tính hợp lý về thời gian của chuỗi hành động trong môi trường mô phỏng được tạo sinh.
Sáng tạo nội dung nhập vai: kết hợp tương tác VR/game để tạo công cụ UGC, cho phép người dùng điều khiển diễn tiến của thế giới ảo cá nhân hóa bằng các phím bấm tự nhiên, giúp mọi người tạo ra “video có thể chơi”.