EchoWM Đang hoạt động

EchoWM là mô hình thế giới nghe nhìn tương tác do Viện Nghiên cứu Khám phá JD.com mã nguồn mở. Mô hình kế thừa khả năng tạo âm thanh và video nguyên bản của JoyAI-Echo, cho phép người dùng di chuyển và khám phá theo thời gian thực trong thế giới do AI tạo ra dưới góc nhìn thứ nhất/thứ ba; hình ảnh, quan hệ không gian, âm thanh môi trường và giọng nói liên tục đồng bộ, không bị sai lệch trong thời gian dài. Mô hình được huấn luyện với giao diện ý định camera thống nhất và công cụ dữ liệu thế giới, đạt điểm trung bình 81.7, xếp hạng nhất trong đánh giá điều hướng WBench.

Tạo thế giới có thể khám phá theo thời gian thực: Người dùng có thể sử dụng các phím điều hướng WASD để tự do di chuyển, quay người và quay lại trong cảnh do AI tạo ra; thế giới mở rộng theo thao tác trong thời gian thực.
Tạo âm thanh và video nguyên bản kết hợp: Trong cùng một framework, video 720p cùng âm thanh môi trường, âm nhạc và giọng nói nhân vật được tạo đồng bộ; âm thanh tiếp nối tự nhiên theo thay đổi của hình ảnh.
Điều khiển hai góc nhìn thứ nhất/thứ ba: Ở góc nhìn thứ nhất, camera di chuyển cùng người quan sát; ở góc nhìn thứ ba, camera tự động bám theo chuyển động của nhân vật, phương tiện và các chủ thể khác.
Tiếp nối dài hạn qua nhiều lượt: Sử dụng phần âm thanh và video cuối của lượt trước làm ngữ cảnh cho lượt tiếp theo; sau nhiều thao tác, bố cục cảnh, diện mạo chủ thể và âm thanh vẫn nhất quán.
Dẫn đầu đánh giá điều hướng WBench: Đạt điểm trung bình 81.7 trên 158 trường hợp, các chỉ số nhất quán và tương tác đều nằm trong nhóm dẫn đầu.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Giao diện ý định camera thống nhất: Ánh xạ các lệnh bàn phím rời rạc thành quỹ đạo 6-DoF liên tục tương đối với tư thế ban đầu, dùng cùng một giao diện để mô tả cách camera di chuyển; ở góc nhìn thứ nhất, quỹ đạo trực tiếp biểu thị chuyển động của người quan sát; ở góc nhìn thứ ba, mô hình học từ dữ liệu mối quan hệ kết hợp “chủ thể di chuyển — camera bám theo”, không cần quỹ đạo nhân vật hoặc tham số cài đặt camera bổ sung. Quỹ đạo chỉ được đưa vào nhánh video, còn âm thanh liên kết theo hình ảnh.
Công cụ dữ liệu thế giới: Tích hợp bốn nguồn dữ liệu bổ trợ cho nhau, gồm gameplay được thu thập nội bộ, video con người chơi thực tế, mô phỏng UE và video Internet thông thường; sau đó dùng phân vị thứ 90 của biên độ tịnh tiến tối đa của quỹ đạo làm “thước đo” toàn cục để chuẩn hóa thống nhất, giữ lại khác biệt dịch chuyển tương đối giữa các quỹ đạo và tránh thay đổi tốc độ đột ngột do hiệu chuẩn theo từng đoạn.
Huấn luyện tiến cấp qua bốn giai đoạn: Giai đoạn đầu dùng dữ liệu AV-rich để đặt nền tảng tiền huấn luyện liên tục âm thanh và video; giai đoạn hai đóng băng backbone, chỉ huấn luyện nhánh quỹ đạo nhẹ để tăng cường khả năng phản hồi điều khiển; giai đoạn ba dùng dữ liệu vừa có độ tin cậy điều khiển vừa có chất lượng nghe nhìn để tinh chỉnh kết hợp với learning rate thấp; giai đoạn bốn thực hiện hậu huấn luyện tự hồi quy, chuyển đổi thành cơ chế tạo theo khối nhân quả bằng Teacher Forcing, kết hợp Self-Gradient Forcing ngắn hạn để mô hình thích ứng với lịch sử do chính nó tạo ra, sau đó dùng chưng cất khớp phân phối để nén thành lấy mẫu bốn bước, kết hợp cơ chế bộ nhớ đệm sink-plus-FIFO nhằm hỗ trợ tương tác luồng dài hạn đồng thời kiểm soát chi phí KV.

Sao chép kho lưu trữ: dùng git clone để tải github.com/jd-opensource/JoyAI-Echo, sau đó vào thư mục echo_wm/ (độc lập với dự án video dài echo_longvideo/).
Tạo môi trường: dùng conda create -n echo-wm python=3.11 để tạo môi trường riêng và kích hoạt môi trường.
Cài đặt dependency: trước tiên cài PyTorch 2.9.1 (cu128), sau đó chạy pip install -r requirements.txt và dùng torch.cuda.is_available() để xác minh GPU khả dụng.
Tải trọng số mô hình: dùng hf download Echo-Team/Echo-WM để tải checkpoint của mô hình; đồng thời cần tải bộ mã hóa văn bản Gemma 3 (kho gated, cần chấp nhận giấy phép trên trang HF trước và chạy hf auth login).
Chạy ví dụ chính thức để xác minh: chạy scripts/run_wm_case.py --case examples/wm_cases/0010 cùng các trường hợp hoàn chỉnh có sẵn để xác nhận cấu hình môi trường chính xác.
Tạo nội dung tùy chỉnh: chạy inference_wm.py, truyền vào ảnh khung hình đầu tiên + prompt sáu trường + chuỗi hành động (Action DSL) để xuất video có âm thanh.
Viết lệnh hành động: dùng Action DSL để mô tả chuyển động camera, với định dạng <phím>-<số khung hình>, nối bằng dấu phẩy; ví dụ w-60,a-60 nghĩa là tiến 60 khung hình rồi di chuyển sang trái 60 khung hình, hỗ trợ kết hợp w/s/a/d/i/j/k.

Tích hợp nghe nhìn: Trong cùng một framework, mô hình nguyên bản tạo kết hợp video 720p với âm thanh môi trường, âm nhạc và giọng nói; âm thanh thay đổi đồng bộ theo cảnh và sự kiện trong hình ảnh, giải quyết vấn đề phần lớn mô hình thế giới “chỉ tạo hình ảnh mà không tạo âm thanh”.
Giao diện điều khiển thống nhất: Dùng một quỹ đạo 6-DoF tương đối để đồng thời điều khiển chuyển động của người quan sát ở góc nhìn thứ nhất và camera bám theo chủ thể ở góc nhìn thứ ba, không cần thiết kế bộ điều khiển riêng cho từng góc nhìn.
Tính liên tục dài hạn: Thông qua hậu huấn luyện tự hồi quy và cơ chế bộ nhớ đệm sink-plus-FIFO, người dùng có thể tiếp tục khám phá qua nhiều lượt dựa trên ngữ cảnh âm thanh và video ở cuối lượt trước; cảnh, chủ thể và âm thanh không bị sai lệch trong thời gian dài.
Dẫn đầu đánh giá: Đạt điểm trung bình 81.7, xếp hạng nhất trong đánh giá WBench Navigation; nghiên cứu người dùng cho thấy mức độ yêu thích tổng thể cao hơn đáng kể so với LingBot-World-v2 và HappyOyster.

Trang web chính thức: https://echo-team-joy-future-academy-jd.github.io/Echo-1.5-Page/wm/
Kho GitHub: https://github.com/jd-opensource/JoyAI-Echo
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2608.23189

Phát triển nguyên mẫu trò chơi: Người sáng tạo vào cảnh được tạo để chơi thử, kiểm tra bố cục không gian, thiết kế tuyến đường và trải nghiệm camera trước khi quyết định hướng phát triển.
Kể chuyện tương tác: Cốt truyện tiếp tục phát triển và được tạo theo các nhánh lựa chọn của người dùng, thay thế tài nguyên dựng sẵn truyền thống để dùng cho phim tương tác và tiểu thuyết tương tác.
Nội dung nhập vai: Nội dung phim ảnh và quảng cáo chuyển từ “xem” sang “bước vào”, cho phép khán giả tự do khám phá thế giới trong hình ảnh.
Tham quan ảo: Số hóa và tham quan kỹ thuật số với chi phí thấp cho bảo tàng, khu danh thắng, bất động sản và các bối cảnh khác mà không cần dựng mô hình từng khung hình.
Biểu diễn bằng người kỹ thuật số: Giọng nói và chuyển động nhân vật được tạo phối hợp với môi trường động xung quanh, camera và âm thanh, phù hợp cho streamer ảo và nhân viên kỹ thuật số.