WorldSonus Đang hoạt động

WorldSonus là framework lồng tiếng video dạng streaming do HKUST phối hợp cùng Noiz AI, MetaX và Đại học Giao thông Thượng Hải mã nguồn mở, vừa tạo vừa phát luồng video, xuất âm thanh stereo 48kHz theo từng khối 100ms theo thời gian thực. WorldSonus sử dụng kiến trúc khuếch tán AR nhân quả cùng bộ nhớ đệm Ring-KV 5 giây, hỗ trợ thay đổi liền mạch prompt hiệu ứng âm thanh giữa quá trình tạo, với kênh trái phải bám theo vị trí nguồn âm thanh trong cảnh và chuyển động camera. Chất lượng âm thanh trên cả năm cấp độ của bộ kiểm thử đều vượt qua các mô hình offline hai chiều như AudioX và ThinkSound.

Lồng tiếng streaming theo thời gian thực: vừa tạo vừa xuất âm thanh theo luồng video, mỗi khối dài 100ms, thời gian tính toán mỗi khối chỉ 41.2ms, mức sử dụng VRAM ổn định và có thể theo luồng trong thời lượng không giới hạn.
Thay đổi âm thanh giữa chừng: có thể chỉnh sửa chỉ dẫn hiệu ứng âm thanh bằng văn bản bất cứ lúc nào trong quá trình tạo, chuyển đổi liền mạch tại ranh giới khối gần nhất, không mất trạng thái phiên và không cần tính toán lại các khung hình trước đó.
Âm thanh stereo không gian: xuất âm thanh hai kênh 48kHz, vị trí nguồn âm thanh và chuyển động camera được phản ánh theo thời gian thực ở kênh trái và phải.
Mô-đun hóa, dễ tích hợp: độc lập với backbone thị giác, chỉ nhận “các khung hình video đã được tạo”, có thể kết nối với bất kỳ mô hình thế giới hoặc game engine nào.
Phổ quát trên nhiều miền: ngoài các cảnh tương tác, chất lượng âm thanh trên các video phổ quát như VGGSound vẫn vượt qua các mô hình offline hai chiều.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Tạo streaming nhân quả theo khối (AR-Diffusion): mã hóa âm thanh vào không gian latent liên tục của VAE stereo nhân quả, mỗi 100ms tương ứng với 3 khung latent; Transformer decoder-only ở mỗi bước chỉ đọc hai token tổng hợp là “khối âm thanh trước đó + khối video hiện tại”, kết hợp bộ nhớ đệm vòng Ring-KV gồm W=50 khối để duy trì bộ nhớ giới hạn, sau đó dùng flow head nhẹ với mục tiêu rectified-flow để khử nhiễu khối hiện tại.
Điều kiện thị giác với hai thang thời gian: DINOv3 đóng băng mã hóa mỗi khung thành lưới patch và ghép bản đồ chênh lệch khung để nắm bắt chuyển động, mỗi khung được gộp thành 1 token; 3 token khung tiếp tục được gộp thành 1 token ngữ nghĩa cấp khối đưa vào backbone AR để duy trì tính liền mạch dài hạn, trong khi 3 token căn chỉnh khung được đưa trực tiếp vào flow head, bỏ qua backbone, để xử lý kết xuất chi tiết đồng bộ âm thanh-hình ảnh; việc lập kế hoạch dài hạn và kết xuất cục bộ được tách biệt.
Chưng cất căn chỉnh ShiftNCE trong giai đoạn huấn luyện: sử dụng Synchformer đóng băng làm giáo viên trong quá trình huấn luyện, dùng học tương phản để chưng cất khả năng đồng bộ vào trạng thái ẩn AR: mẫu dương là các cửa sổ căn chỉnh theo thời gian, mẫu âm là các cửa sổ của cùng video nhưng lệch một số khối, đồng thời lọc các mẫu âm giả có độ tương đồng cao; không phát sinh chi phí khi suy luận, nếu loại bỏ thì DeSync xấu đi từ 0.831 lên 1.067.
Lập lịch prompt biến thiên theo thời gian và điều khiển prompt tại chỗ: prompt được T5Gemma 2 nén thành tập token và lưu trong cross-attention; khi thay đổi giữa chừng, chỉ bộ nhớ đệm này được thay thế tại ranh giới khối gần nhất, Ring-KV cùng trạng thái nghe nhìn không thay đổi. Trong quá trình huấn luyện, cố ý đưa vào bốn kiểu lập lịch biến thiên theo thời gian gồm chuyển đổi giữa chừng, rút chỉ dẫn và thêm chỉ dẫn, nhờ đó mô hình học được cách chuyển cảnh liền mạch.

Chuẩn bị môi trường: chuẩn bị Python 3.10+, GPU CUDA, FFmpeg/ffprobe và đảm bảo driver GPU đã được cài đặt.
Lấy mã nguồn: chạy git clone https://github.com/NoizAI/WorldSonus.git rồi chuyển vào thư mục dự án.
Cài đặt dependency: chạy bash scripts/setup.sh .venv để tự động cài PyTorch phiên bản CUDA 12.4, sau đó chạy source .venv/bin/activate và pip install -e '.[features]'.
Tải trọng số mô hình chính: chạy python scripts/download_model.py --output assets để tải trọng số WorldSonus.
Tải encoder: chạy python scripts/download_encoders.py --output assets để tải DINOv3 và T5Gemma 2.
Lồng tiếng offline cho toàn bộ video: chạy python -m worldsonus.infer --video input.mp4 --prompt "mô tả hiệu ứng âm thanh" --output output.wav để tự động trích xuất đặc trưng, tạo và giải mã, xuất WAV stereo 48kHz.
Tham số tùy chọn: dùng --start 5 --seconds 10 để cắt một khoảng video, hoặc bỏ qua --prompt để tạo chỉ dựa trên điều kiện video.
Tạo streaming theo thời gian thực: thêm tham số --stream để tạo âm thanh tăng dần theo từng khối.
Vừa tạo vừa phát: thêm --stream --pcm-stdout để truyền PCM thô trực tiếp qua pipe đến ffplay -f f32le -ar 48000 -ac 2 -i - -nodisp -autoexit và nghe thử ngay lập tức.

Kiến trúc nhân quả dạng streaming: tạo âm thanh theo khối 100ms với thời gian xử lý mỗi khối chỉ 41.2ms, VRAM ổn định và có thể theo luồng không giới hạn.
Thay đổi prompt giữa chừng: có thể thay thế liền mạch chỉ dẫn hiệu ứng âm thanh bất cứ lúc nào trong quá trình tạo, không mất trạng thái và độ trễ vẫn đáp ứng thời gian thực.
Âm thanh stereo không gian: xuất hai kênh 48kHz, vị trí nguồn âm thanh và chuyển động camera được căn chỉnh theo thời gian thực.
Mô-đun hóa, dễ tích hợp: chỉ nhận các khung hình video đã được tạo, có thể kết nối với bất kỳ mô hình thế giới hoặc game engine nào.
Chất lượng âm thanh vượt mô hình offline: trên cả năm cấp độ của bộ kiểm thử, các chỉ số như FAD đều tốt hơn toàn diện so với baseline hai chiều có thể xem toàn bộ video.
Ổn định dài hạn: với bộ nhớ đệm Ring-KV 5 giây, tạo liên tục 30 giây không bị trôi hoặc sụp đổ.

Trang web dự án: https://noizai.github.io/WorldSonus/
Kho GitHub: https://github.com/NoizAI/WorldSonus
Kho mô hình HuggingFace: https://huggingface.co/FF2416/WorldSonus
Bài báo kỹ thuật arXiv: https://arxiv.org/abs/2610.08760

Lồng tiếng thời gian thực cho mô hình thế giới và game engine: tạo âm thanh môi trường theo thời gian thực cho luồng hình ảnh của các mô hình thế giới tương tác và game engine như GameGen-X, LingBot-World 2.0; hình ảnh đi đến đâu, âm thanh theo đến đó.
Livestream ảo và người kỹ thuật số: vừa tạo hình ảnh livestream vừa đồng bộ âm thanh, người phát có thể dùng chỉ dẫn bằng giọng nói hoặc văn bản để thay đổi hiệu ứng âm thanh ngay giữa chừng mà không cần dừng livestream và thu lại.
Vừa tạo vừa phối nhạc cho video dài: trong các trường hợp như trailer phim và video dài do AI tạo, không cần chờ hoàn tất kết xuất toàn bộ mà có thể xuất nhạc nền stereo 48kHz theo từng khối, rút ngắn đáng kể thời gian hậu kỳ.
Môi trường VR/AR và huấn luyện mô phỏng: trong mô phỏng ảo, huấn luyện xe tự hành, diễn tập quân sự và các môi trường khác, tạo âm thanh không gian căn chỉnh theo camera cho luồng hình ảnh với góc nhìn động, nâng cao cảm giác nhập vai và tính chân thực của huấn luyện.
Nhận thức của tác tử robot: cung cấp tín hiệu nghe nhìn đồng bộ theo thời gian thực cho các tác tử thông minh hiện thân, giúp chúng nhận phản hồi môi trường stereo đồng thời với đầu vào thị giác, hỗ trợ điều hướng và ra quyết định tương tác.