LingBot-World 2.0 Đang hoạt động

LingBot-World 2.0 là mô hình thế giới tương tác thời gian thực do Ant Lingbo Technology phát hành mã nguồn mở, có thể được trải nghiệm như một trò chơi. Trò chơi hỗ trợ các thao tác như di chuyển, tấn công, niệm phép, nhảy và các sự kiện môi trường như mưa tuyết, có thể liên tục tạo khung hình trong nhiều giờ mà không bị trôi cảnh; ở cấu hình cao có thể đạt 720P/60FPS. Hiện mô hình đã mở mã nguồn bốn phiên bản gồm 14B, 1.3B Small, Bidirectional và Causal Pretrain, có thể được sử dụng cho trò chơi, mô phỏng trí tuệ hiện thân và tạo dữ liệu tương tác.

Khám phá tương tác thời gian thực: Mô hình tạo thế giới mở có thể tự do đi lại và xoay góc nhìn ở 720P / 60FPS với độ trễ dưới một giây.
Đa dạng hành động nhân vật: Hỗ trợ nhiều thao tác phong phú như tấn công, bắn cung, niệm phép, bắn súng, nhảy và lượn.
Sự kiện môi trường: Có thể phản hồi các sự kiện thế giới động do văn bản điều khiển, như tuyết rơi và mưa.
Tạo nội dung dài hàng giờ: Hình ảnh duy trì tính nhất quán trong thời gian chơi dài, không bị trôi cảnh hay hỏng hình.
Điều khiển phối hợp bằng tác tử: Tích hợp “Player Agent + Director Agent”, lần lượt phụ trách lập kế hoạch hành vi nhân vật và tổng hợp các yếu tố cảnh.
Thế giới dùng chung nhiều người: Hỗ trợ nhiều người cùng đắm chìm trong một thế giới được tạo sinh và phối hợp định hình bối cảnh.
Mô phỏng trí tuệ hiện thân: Mở rộng từ thế giới trò chơi sang mô phỏng robot, dự đoán trạng thái tương lai và tạo dữ liệu tương tác.
Triển khai cục bộ nhẹ: Phiên bản 1.3B Small có thể chạy thời gian thực trên GPU đơn cấp phổ thông.

Mô hình tiền huấn luyện nhân quả: Thông qua tiền huấn luyện nhân quả (Causal Pretrain) được thiết kế kỹ lưỡng, mô hình đạt được thời lượng tương tác không giới hạn đồng thời duy trì chất lượng đầu ra ổn định trong thời gian dài, đây là nền tảng giúp hình ảnh không bị trôi cảnh.
Chưng cất thời gian thực: Chưng cất biến thể thời gian thực từ mô hình nền (mô hình Bidirectional làm nguồn chưng cất chất lượng cao), bảo đảm tốc độ suy luận đủ để điều khiển luồng video 720P/60FPS.
Động lực học thị giác có điều kiện hành động: Học động lực học có điều kiện “hành động-hình ảnh” từ lượng lớn video góc nhìn thứ nhất, video tổng hợp và video trên mạng, giúp mô hình chuyển thao tác và sự kiện thành thay đổi thị giác một cách trung thực.
Kiến trúc hai tác tử: Tiên phong Agentic Harness — Pilot Agent lập kế hoạch và thực thi hành vi nhân vật, Director Agent tổng hợp các yếu tố môi trường mới theo tiến trình của cảnh, kết hợp điều khiển bằng tác tử với sự can thiệp của người dùng.
Phối hợp mô hình lớn và nhỏ: Mô hình chính 14B kết hợp với mô hình nhẹ 1.3B, cân bằng hiệu quả và khả năng triển khai trên một GPU, hạ thấp ngưỡng tái hiện nghiên cứu.

Thời lượng tương tác không giới hạn: Mô hình tiền huấn luyện nhân quả cho phép tạo liên tục trong nhiều giờ mà hình ảnh không bị trôi cảnh trong thời gian dài, vượt qua giới hạn thời lượng của các mô hình video truyền thống.
Trải nghiệm thời gian thực mượt mà: Biến thể thời gian thực sau chưng cất hỗ trợ 720P / 60FPS với độ trễ dưới một giây, thực sự đạt mức tương tác “có thể chơi”.
Đa dạng yếu tố tương tác: Bao phủ nhiều hành động như tấn công, bắn cung, niệm phép, bắn súng cùng các sự kiện môi trường như mưa tuyết do văn bản điều khiển, mở rộng đáng kể chiều sâu tương tác.
Kiến trúc hai tác tử tiên phong: Pilot Agent phụ trách lập kế hoạch hành vi nhân vật, Director Agent phụ trách tổng hợp động các yếu tố cảnh, cho phép điều khiển bằng tác tử và sự can thiệp của người dùng diễn ra song song.
Chia sẻ và phối hợp nhiều người: Hỗ trợ nhiều người dùng cùng vào một thế giới được tạo sinh; một người chơi, một người làm đạo diễn, thay đổi mô hình tạo sinh đơn lẻ truyền thống.
Ngưỡng triển khai thấp: Phiên bản 1.3B Small chỉ cần GPU đơn cấp phổ thông để chạy thời gian thực, giúp nhà phát triển cá nhân cũng có thể tái hiện cục bộ.

Thời lượng siêu dài: Tiền huấn luyện nhân quả hỗ trợ tạo liên tục trong nhiều giờ, hình ảnh không bị trôi cảnh trong thời gian dài.
Có thể chơi theo thời gian thực: Biến thể thời gian thực sau chưng cất đạt 720P/60FPS với độ trễ tương tác dưới một giây.
Tương tác phong phú: Bao phủ các hành động như tấn công, bắn cung, niệm phép, bắn súng và các sự kiện môi trường do văn bản điều khiển.
Kiến trúc hai Agent: Pilot Agent lập kế hoạch hành vi nhân vật, Director Agent tổng hợp động các cảnh.
Phối hợp nhiều người: Hỗ trợ nhiều người dùng chia sẻ cùng một thế giới được tạo sinh, một người chơi và một người làm đạo diễn.
Triển khai dễ dàng: Phiên bản 1.3B Small có thể chạy thời gian thực cục bộ chỉ với GPU đơn cấp phổ thông.
Đa dạng bối cảnh: Mở rộng từ thế giới trò chơi sang mô phỏng robot, dự đoán tương lai và tạo dữ liệu tương tác.

Trang web dự án: https://technology.robbyant.com/lingbot-world-v2
Kho GitHub: https://github.com/robbyant/lingbot-world-v2
Kho mô hình HuggingFace: https://huggingface.co/robbyant/lingbot-world-v2-14b-causal-fast
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2607.07534

Phát triển trò chơi AI: Đóng vai trò là công cụ game tạo sinh thời gian thực, tự động tạo màn chơi, bối cảnh và sự kiện theo thao tác của người chơi, giảm chi phí sản xuất nội dung cấp AAA.
Tiền kỳ điện ảnh và quay phim ảo: Đạo diễn dùng chỉ lệnh văn bản để dựng và di chuyển trong bối cảnh ảo theo thời gian thực, nhanh chóng xem trước góc máy và không khí, rút ngắn đáng kể thời gian dựng cảnh và chỉnh sửa tiền kỳ.
Sân huấn luyện trí tuệ hiện thân: Cung cấp môi trường mô phỏng có độ chân thực cao và khả năng tương tác cho robot, huấn luyện năng lực nhận thức, ra quyết định và tương tác dài hạn, giảm chi phí thử sai trên robot thật.
VR/AR và du lịch số: Tạo không gian ảo nhập vai có thể khám phá vô hạn, ứng dụng trong triển lãm ảo, hướng dẫn du lịch văn hóa và trải nghiệm metaverse phối hợp nhiều người.
Giáo dục và đào tạo tương tác: Xây dựng thí nghiệm ảo, diễn tập khẩn cấp và bối cảnh lịch sử có thể thao tác; người học được đào tạo nhập vai sâu hơn so với xem video trong một “thế giới có thể chơi”.