WorldClaw – Khung tạo thế giới 3D do đội ngũ Tencent Hunyuan phát triển Đang hoạt động

WorldClaw là khung tạo thế giới mở 3D vận hành bằng Agent do đội ngũ Tencent Hunyuan phát triển. Người dùng chỉ cần nhập một câu mô tả bằng ngôn ngữ tự nhiên, hệ thống có thể tự động lập kế hoạch địa hình, khu vực, công trình, vật thể và quan hệ không gian, áp dụng chiến lược tạo từ tổng thể đến chi tiết để xây dựng trong Blender một cảnh 3D hoàn chỉnh có thể tự do khám phá và chỉnh sửa từng đối tượng. Khung này được vận hành phối hợp bởi nhiều mô hình như Claude Opus, GPT-Image-2, SAM3 và Hunyuan3D, đồng thời có khả năng tự kiểm tra và sửa lỗi bằng Agent thị giác, tự động khắc phục các vấn đề tiếp xúc như vật thể lơ lửng hoặc xuyên mesh.

Lập kế hoạch cảnh thông minh: Agent lập kế hoạch phân tích mô tả của người dùng và chuyển lời nhắc mở thành đặc tả cảnh có cấu trúc, bao gồm khu vực, địa hình, vật thể, vật liệu và quan hệ không gian.
Tạo từ tổng thể đến chi tiết: Trước tiên xây dựng địa hình và khung không gian của thế giới, sau đó từng bước bổ sung chi tiết cho các khu vực, tránh tình trạng đường bị đứt đoạn hoặc sai lệch tỷ lệ.
Tạo tài sản độc lập: Các đối tượng như công trình, thảm thực vật và phương tiện được duy trì dưới dạng các thực thể độc lập, không phải mô hình nướng đơn nhất, cho phép di chuyển, thay thế và chỉnh sửa riêng.
Tự kiểm tra và sửa lỗi bằng thị giác: Agent thị giác kết xuất từ nhiều góc nhìn để kiểm tra tỷ lệ, tư thế và vấn đề tiếp xúc, đồng thời tự động sửa các lỗi như vật thể lơ lửng hoặc xuyên mesh.
Tích hợp sâu với Blender: Toàn bộ quy trình từ tạo địa hình, tạo tài sản, bố trí cảnh, kiểm tra đến kết xuất đều chạy trong Blender 5.1.1, hỗ trợ thao tác qua giao diện MCP.

Kiến trúc phối hợp nhiều Agent: Hệ thống gồm Agent lập kế hoạch, Agent tối ưu cảnh và Agent kiểm tra bằng thị giác, lần lượt phụ trách thiết kế cảnh, thao tác trong Blender và xác minh chất lượng.
Phân công giữa nhiều mô hình: Claude Opus 4.8 làm mô hình nền tảng cho Agent, GPT-Image-2 phụ trách tạo hình ảnh, SAM3/SAM3D phụ trách phân đoạn, còn Hunyuan3D phụ trách tái tạo 3D và tạo tài sản.
Chiến lược tạo Coarse-to-Fine: Trước tiên tạo trường độ cao ngữ nghĩa để xác định khung địa hình, sau đó lập phương án bố trí vật thể theo từng khu vực, cuối cùng tái tạo độc lập từng tài sản 3D và kết hợp chúng.
Cơ chế sửa lỗi cục bộ: Chỉ chỉnh sửa khu vực nâng đỡ tương ứng đối với các vấn đề tiếp xúc, tránh làm hỏng cấu trúc địa hình tổng thể.

Nhập mô tả: Dùng ngôn ngữ tự nhiên để mô tả cảnh thế giới mở mong muốn.
Lập kế hoạch thông minh: Agent lập kế hoạch tự động phân tách lời nhắc và tạo đặc tả cảnh có cấu trúc, bao gồm khu vực, địa hình, vật thể và quan hệ không gian.
Tạo khung địa hình: Hệ thống tạo trường độ cao có ngữ nghĩa, xác định nền tảng không gian cho các khu vực địa hình như đỉnh núi, sông và bờ biển.
Tạo tài sản theo khu vực: Tạo riêng các tài sản 3D như công trình, thảm thực vật và phương tiện theo từng khu vực, sau đó đặt chúng vào vị trí tương ứng.
Kiểm tra và sửa lỗi bằng thị giác: Agent thị giác kết xuất từ nhiều góc nhìn để kiểm tra và tự động sửa các vấn đề như tỷ lệ bất thường, vật thể lơ lửng hoặc xuyên mesh.
Xuất và chỉnh sửa: Nhận cảnh hoàn chỉnh trong Blender, tự do điều chỉnh vị trí đối tượng, thay thế tài sản hoặc sửa vật liệu.

Từ lời nhắc đến thế giới hoàn chỉnh: Chỉ với một câu mô tả bằng ngôn ngữ tự nhiên, hệ thống có thể tự động lập kế hoạch và tạo cảnh 3D hoàn chỉnh có thể khám phá, bao gồm địa hình, công trình, thảm thực vật và cơ sở hạ tầng, không cần dựng thủ công từng tài sản.
Tài sản độc lập có thể chỉnh sửa: Mọi đối tượng đều giữ texture Mesh và thực thể độc lập, hỗ trợ di chuyển, thay thế và chỉnh sửa vật liệu riêng mà không cần tạo lại toàn bộ thế giới.
Tự kiểm tra và sửa lỗi thông minh: Agent thị giác chủ động kiểm tra tỷ lệ, tư thế và vấn đề tiếp xúc, tự động sửa các lỗi 3D thường gặp như vật thể lơ lửng hoặc xuyên mesh, nâng cao chất lượng tạo sinh.
Tích hợp sâu với Blender: Toàn bộ quy trình chạy trong Blender 5.1.1, hỗ trợ thao tác trực tiếp qua giao diện MCP, thuận tiện kết nối với quy trình làm việc 3D hiện có.

Trang web dự án: https://tencent-hunyuan.github.io/Hunyuan3D-WorldClaw/
Bài báo kỹ thuật trên arXiv: https://arxiv.org/pdf/2608.05248

Phát triển nguyên mẫu trò chơi: Nhanh chóng tạo mô hình khối và cảnh ý tưởng cho màn chơi thế giới mở, đẩy nhanh quá trình xác minh và lặp lại lối chơi ở giai đoạn đầu.
Sản xuất phim ảo: Xây dựng môi trường ngoại cảnh ảo quy mô lớn, hỗ trợ đạo diễn xem trước góc máy và diễn tập tài sản kỹ thuật số.
Thiết kế trải nghiệm VR/AR: Tạo không gian 3D nhập vai có thể tự do khám phá, phục vụ du lịch ảo, mô phỏng đào tạo hoặc triển lãm.
Kiến trúc và quy hoạch đô thị: Trực quan hóa phương án quy hoạch khu vực quy mô lớn, hiển thị trực quan bố cục địa hình, công trình và cơ sở hạ tầng công cộng.
Nghệ thuật ý tưởng sáng tạo 3D: Cung cấp cho nhà thiết kế nền tảng cảnh hoàn chỉnh có thể chỉnh sửa, giảm đáng kể chi phí dựng thủ công từ đầu.