Hy-Nomas Đang hoạt động

Hy-Nomas là mô hình tạo thế giới video tương tác do nhóm Tencent Hunyuan mã nguồn mở, sử dụng phương thức tự hồi quy phân đoạn để tạo video, hỗ trợ tự do chuyển đổi giữa lời nhắc văn bản và điều khiển quỹ đạo camera giữa các phân đoạn, đồng thời duy trì tính nhất quán dài hạn thông qua lifelong KV cache. Hy-Nomas đã mã nguồn mở cả code và trọng số, cung cấp phiên bản chưng cất và phiên bản lượng tử hóa INT8. Sau khi tối ưu, mô hình có thể suy luận cục bộ trên một GPU RTX 4090.

Điều khiển bằng văn bản tự do: Hỗ trợ lời nhắc văn bản dưới mọi hình thức để kiểm soát vật thể, phong cách, bối cảnh và hành động trong thế giới được tạo.
Điều khiển quỹ đạo camera: Có thể tạo nội dung dựa trên điều kiện quỹ đạo chuyển động của camera và tự do kết hợp, chuyển đổi với lời nhắc văn bản.
Tạo tương tác nhiều lượt: Giao diện tương tác Web hỗ trợ chèn chỉ thị mới tại ranh giới các phân đoạn, cho phép tạo liên tục qua nhiều lượt.
Tăng cường lời nhắc (Nomas-PE): Mô hình trực tuyến tích hợp tự động chuyển đổi chỉ thị khẩu ngữ của người dùng thành lời nhắc tạo có cấu trúc.
Triển khai cục bộ trên phần cứng phổ thông: Tối ưu lượng tử hóa INT8 + CPU offload, chỉ cần một GPU RTX 4090 để thực hiện suy luận.
Tinh chỉnh LoRA: Hỗ trợ tinh chỉnh bằng dữ liệu video tùy chỉnh và có thể hợp nhất vào mô hình chưng cất để suy luận.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Kiến trúc tự hồi quy phân đoạn: Tạo video dài theo từng phân đoạn, mỗi phân đoạn dựa trên lời nhắc hiện tại hoặc tín hiệu camera, đồng thời duy trì lifelong KV cache xuyên suốt tất cả phân đoạn để giữ tính nhất quán theo thời gian của bối cảnh, vật thể và phong cách, từ đó tạo thế giới có độ dài lớn.
Suy luận tăng tốc bằng chưng cất: Thông qua huấn luyện chưng cất, số bước khử nhiễu được rút gọn còn 4/6/8 bước. Kết hợp với bộ giải mã PixelUMM được tinh chỉnh chuyên biệt để xử lý biến ẩn DCAE-V 32 kênh, phương pháp này giảm đáng kể độ trễ suy luận mà vẫn đảm bảo chất lượng.
Cơ chế suy luận tiết kiệm VRAM: Trọng số DiT và KV cache được lưu trữ ở INT8, trong khi tính toán vẫn duy trì BF16; ngữ cảnh lịch sử được cắt bằng cửa sổ trượt để không tăng vô hạn; bộ mã hóa văn bản, DiT và VAE lần lượt chuyển đổi giữa CPU/GPU theo từng giai đoạn, đưa mức VRAM đỉnh xuống phạm vi mà GPU phổ thông có thể đáp ứng.
Huấn luyện bắt buộc theo phân đoạn với LoRA: Tinh chỉnh sử dụng checkpoint không chưng cất làm mô hình nền, áp dụng pipeline huấn luyện segment forcing và chỉ huấn luyện các tham số LoRA (rank/alpha 256). Sau khi hoàn tất, trọng số LoRA được hợp nhất trở lại checkpoint chưng cất để tạo mô hình suy luận vừa giữ được khả năng tăng tốc từ chưng cất vừa có năng lực tùy chỉnh.

Tự do chuyển đổi hai phương thức: Mỗi phân đoạn có thể tự do chuyển đổi giữa lời nhắc văn bản và điều khiển quỹ đạo camera, mang lại phương thức tương tác linh hoạt.
Tính nhất quán dài hạn: Lifelong KV cache đảm bảo vật thể, bối cảnh và phong cách được duy trì xuyên suốt các phân đoạn, tránh hiện tượng trôi trong video dài.
Chạy được trên phần cứng phổ thông: Lượng tử hóa INT8 + cửa sổ trượt + CPU offload, có thể suy luận cục bộ trên một GPU RTX 4090.
Suy luận cực nhanh: Sau khi chưng cất, chỉ cần 4~8 bước khử nhiễu, giúp giảm đáng kể độ trễ tạo nội dung.
Mã nguồn mở hoàn toàn: Code, trọng số, quy trình huấn luyện và gán nhãn dữ liệu đều được công khai; giấy phép Apache 2.0 cho phép sử dụng thương mại.

Trang web dự án: https://hy-nomas.hy.tencent.com/
Kho GitHub: https://github.com/Tencent-Hunyuan/Hy-Nomas
Kho mô hình HuggingFace: https://huggingface.co/tencent/Hy-Nomas

Phát triển nguyên mẫu game AI: Nhanh chóng tạo thế giới game tương tác bằng chỉ thị văn bản và camera, giúp kiểm chứng ý tưởng gameplay với chi phí thấp.
Huấn luyện mô phỏng robot: Sử dụng Robotics LoRA chính thức để tạo môi trường thao tác cánh tay robot chân thực, cung cấp dữ liệu huấn luyện tổng hợp cho trí tuệ hiện thân.
Tiền kỳ điện ảnh và phân cảnh: Sử dụng LoRA phong cách điện ảnh để tạo các cảnh quay dài liền mạch, hỗ trợ đạo diễn thiết kế chuyển động camera và xem trước hình ảnh.
Du lịch ảo và trình bày không gian: Sử dụng điều khiển quỹ đạo camera để tạo các cảnh khu du lịch, phòng trưng bày và bất động sản có thể tham quan, thay thế mô hình hóa 3D truyền thống.
Nghiên cứu và giáo dục AI: Toàn bộ code huấn luyện, tinh chỉnh và gán nhãn dữ liệu đều được mã nguồn mở, có thể làm nền tảng giảng dạy và nghiên cứu cho lĩnh vực mô hình thế giới.