HelixWorld Đang hoạt động

HelixWorld là mô hình thế giới âm thanh-hình ảnh tương tác theo thời gian thực, được Noiz AI và HKUST cùng mã nguồn mở. Cung cấp cho mô hình một hình ảnh bắt đầu và mô tả bằng văn bản, người dùng có thể di chuyển, xoay góc nhìn trong thế giới do AI tạo ra bằng phím WASD và các phím mũi tên. Hình ảnh và âm thanh không gian lập thể được tạo đồng bộ theo thời gian thực, trong đó hướng âm thanh thay đổi tự nhiên theo góc nhìn. HelixWorld được xây dựng trên LTX-2.3, sử dụng phương pháp huấn luyện “giáo viên hai chiều + chưng cất nhân quả”, có thể tạo nội dung theo thời gian thực ở độ phân giải 768×512 và 24 FPS trên một GPU H800. HelixBench cũng được phát hành để chuyên đánh giá tính nhất quán của âm học không gian.

Tạo thế giới tương tác theo thời gian thực: nhập hình ảnh bắt đầu và mô tả bằng văn bản để tự do khám phá thế giới do AI tạo ra.
Điều khiển bằng bàn phím/chuyển động: WASD điều khiển việc di chuyển, các phím mũi tên điều chỉnh góc nhìn và hình ảnh phản hồi tức thì theo thao tác.
Tạo âm thanh-hình ảnh đồng thời nguyên bản: video và âm thanh lập thể được tạo đồng bộ, không lồng tiếng hậu kỳ.
Tính nhất quán của âm học không gian: hướng âm thanh thay đổi tự nhiên theo chuyển động của camera; chẳng hạn, khi quay người về phía nguồn âm ở bên trái, hướng âm thanh cũng thay đổi theo.
Prompt tách biệt ba nhánh: sử dụng riêng mô tả video, âm thanh và âm thanh-hình ảnh để điều khiển nội dung tạo ra.
Trải nghiệm mượt mà theo thời gian thực: đạt độ phân giải 768×512 và 24 FPS khi tạo nội dung theo thời gian thực trên một GPU H800.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Tiền huấn luyện mô hình giáo viên hai chiều: trước tiên huấn luyện một mô hình khuếch tán âm thanh-hình ảnh hai chiều làm giáo viên. Quỹ đạo camera 6-DoF liên tục được đưa vào attention hình ảnh thông qua PRoPE, 81 loại hành động rời rạc điều biến bước thời gian khuếch tán bằng AdaLN-Zero, còn attention liên phương thức truyền chuyển động camera sang nhánh âm thanh, giúp âm thanh tạo ra thay đổi hướng âm thanh lập thể một cách tự nhiên.
Chưng cất nhân quả để đạt thời gian thực: chưng cất mô hình giáo viên thành mô hình học sinh nhân quả với số bước ít. Biến ẩn video và token âm thanh được xử lý theo từng khối; attention hai chiều được dùng trong mỗi khối, còn các khối được kết nối nhân quả thông qua KV cache. Kết hợp với khởi tạo ODE, mô hình học sinh có thể hoàn tất quá trình khử nhiễu trong 4 bước, đáp ứng yêu cầu suy luận theo thời gian thực.
Chưng cất quỹ đạo trực tuyến để hạn chế trôi dạt: nhằm xử lý vấn đề tích lũy sai số trong quá trình tạo tự hồi quy dài hạn, khi huấn luyện sử dụng điểm cuối của Probability Flow ODE từ mô hình giáo viên để giám sát trường vận tốc của mô hình học sinh, đồng thời luân phiên ngẫu nhiên với hàm mất mát khớp phân phối (DMD), cân bằng giữa tính đa dạng khi tạo và độ ổn định dài hạn.
Tinh chỉnh phát trực tuyến dài hạn: mở rộng từng đoạn chuỗi dài trong quá trình huấn luyện bằng KV cache cửa sổ trượt, giữ lại các khung sink làm điểm neo và cắt gradient lịch sử. Kết hợp với tinh chỉnh chuỗi dài khoảng một phút, phương pháp này tiếp tục giảm hiện tượng trôi hình ảnh và suy giảm âm thanh trong quá trình tạo nội dung kéo dài.

Cách một: Trải nghiệm trực tuyến. Mở trang web chính thức https://helixworld.org, chọn hình ảnh mẫu hoặc tải lên hình ảnh của bạn.
Nhập mô tả bằng văn bản về bối cảnh.
Sau khi vào thế giới, dùng WASD để di chuyển và các phím mũi tên để xoay góc nhìn, khám phá nội dung được tạo theo thời gian thực.
Trong quá trình chạy, bạn cũng có thể chỉnh sửa prompt bất cứ lúc nào để điều chỉnh bối cảnh được tạo tiếp theo.
Cách hai: Triển khai cục bộ. Chuẩn bị môi trường: hệ thống Linux, Python 3.11, CUDA 12.x, GPU NVIDIA (khuyến nghị VRAM 80GB), ffmpeg và ffprobe.
Tải dự án và cài đặt các phần phụ thuộc: git clone https://github.com/NoizAI/HelixWorld.git, sau đó tạo môi trường conda và chạy pip install -r requirements.txt.
Chạy python download_models.py để tải trọng số mô hình.
Chuẩn bị một hình ảnh bắt đầu, dùng ./run.sh để chỉ định hình ảnh, prompt hình ảnh/âm thanh/kết hợp, chuỗi hành động và các tham số khác; kết quả MP4 sẽ được lưu vào thư mục outputs.

Mô hình thế giới âm thanh-hình ảnh tương tác theo thời gian thực mã nguồn mở đầu tiên: hình ảnh và âm thanh lập thể không gian được tạo đồng thời theo thời gian thực dưới sự điều khiển của người dùng, với mã nguồn và trọng số được công khai hoàn toàn.
Thực sự “quay đầu là đổi hướng âm thanh”: hướng âm thanh bám sát chuyển động góc nhìn, điểm nhất quán không gian cao hơn nhiều lần so với các sản phẩm cùng loại.
Thời gian thực trên một GPU: một GPU H800 đạt 24 FPS và RTF 0.77 khi tạo theo thời gian thực, nhanh hơn các sản phẩm cùng loại trên 2.5 lần.
Tạo nội dung dài hạn không bị trôi dạt: chưng cất quỹ đạo trực tuyến kết hợp tinh chỉnh dài hạn giúp hình ảnh và âm thanh vẫn ổn định khi tạo liên tục trên 30 giây, trong khi tính đa dạng còn tăng thay vì giảm.
Chất lượng âm thanh dẫn đầu toàn diện: HelixBench đạt kết quả tốt nhất trên toàn bộ các chỉ số cốt lõi; trong thử nghiệm mù với người dùng, HelixWorld vượt trội đối thủ với tỷ lệ yêu thích 67.9% trong các bối cảnh có âm thanh.

Trang web dự án: https://helixworld.org/
Kho GitHub: https://github.com/NoizAI/HelixWorld
Bài báo kỹ thuật trên arXiv: https://arxiv.org/pdf/2609.38123

Nguyên mẫu trò chơi nhập vai: không cần dựng mô hình hay sử dụng engine, chỉ cần nhập hình ảnh là có thể tạo một thế giới mở để di chuyển và khám phá, rút ngắn đáng kể chu kỳ phát triển bản demo trò chơi.
Không gian ảo VR/AR: sự kết hợp giữa góc nhìn thứ nhất và âm thanh không gian vốn phù hợp với thiết bị kính thực tế ảo, cho phép nhanh chóng tạo phòng triển lãm ảo và môi trường song sinh kỹ thuật số.
Tiền kỳ phim ảnh và quảng cáo: đạo diễn chỉ cần tải lên hình ảnh ý tưởng để “bước vào” bối cảnh và nghe thử hiệu ứng hình ảnh, âm thanh; từ đó kiểm chứng ngôn ngữ quay phim và thiết kế không khí với chi phí thấp trước khi quay thực tế.
Nền cho cuộc gọi video AI/streamer ảo: tạo theo thời gian thực nền động và hiệu ứng âm thanh phù hợp dựa trên giọng nói và tương tác, thay thế phông xanh và tài nguyên cố định.
Huấn luyện và mô phỏng trí tuệ hiện thân: làm trình mô phỏng thế giới tương tác, cung cấp môi trường huấn luyện chi phí thấp có phản hồi hình ảnh và âm thanh cho robot/lái xe tự động, hỗ trợ học các quy luật tương tác vật lý.