Nemotron 3.5 Lightning Đang hoạt động

Nemotron 3.5 Lightning là mô hình MoE mã nguồn mở 30B tham số do NVIDIA phát triển, được tối ưu cho các hệ thống đa tác tử. So với các mô hình cùng loại, tốc độ đầu ra tăng 4 lần, tốc độ hoàn thành nhiệm vụ của tác tử tăng 30%, đạt được sự cân bằng vượt trội giữa độ chính xác và tốc độ. Mô hình hỗ trợ triển khai trên mọi môi trường, từ PC RTX, Jetson đến trung tâm dữ liệu, đồng thời đã được phát hành mã nguồn mở trên các nền tảng như Hugging Face và NVIDIA Build, hỗ trợ phát triển các ứng dụng tác tử hiệu quả hơn.

Thực thi nhiệm vụ đa tác tử: Mô hình được xây dựng chuyên biệt cho các nhiệm vụ cụ thể trong các hệ thống đa tác tử quy mô lớn, hỗ trợ nhà phát triển xây dựng các ứng dụng tác tử thông minh và hiệu quả hơn.
Suy luận và xuất kết quả tốc độ cao: So với các mô hình cùng loại, Nemotron 3.5 Lightning có thể tăng tốc độ đầu ra lên đến 4 lần, giúp tốc độ hoàn thành tổng thể các nhiệm vụ của tác tử tăng 30%.
Triển khai linh hoạt trên mọi môi trường: Mô hình có thể chạy trực tiếp trên các hệ thống AI cục bộ, bao gồm PC NVIDIA RTX, DGX Spark, Jetson và các thiết bị khác, đồng thời có thể mở rộng liền mạch đến thiết bị biên, máy trạm, trung tâm dữ liệu và môi trường đám mây.

关注微信并回复“开源”以加入 AI 开源项目交流群
Kiến trúc MoE với các chuyên gia hỗn hợp: Nemotron 3.5 Lightning sử dụng kiến trúc MoE (Mixture of Experts) 30B tham số, với tổng số 30 tỷ tham số. Mỗi lần suy luận chỉ kích hoạt một mạng con khoảng 3 tỷ tham số. Cơ chế kích hoạt thưa giúp giảm đáng kể chi phí tính toán trong khi vẫn duy trì năng lực của mô hình lớn, từ đó đạt hiệu quả suy luận cao.
Nén lượng tử hóa NVFP4: Mô hình hỗ trợ định dạng lượng tử hóa NVFP4, một giải pháp độ chính xác dấu phẩy động 4-bit do NVIDIA tự phát triển. Công nghệ này có thể nén đáng kể kích thước mô hình và mức sử dụng bộ nhớ GPU, giúp mô hình vận hành mượt mà trên các thiết bị tiêu dùng và thiết bị biên như PC RTX và Jetson.
Tối ưu chuyên biệt cho các kịch bản tác tử: Mô hình được huấn luyện và tối ưu chuyên biệt cho các kịch bản phối hợp đa tác tử (Multi-Agent), tập trung cải thiện tính ổn định và độ chính xác của các khâu quan trọng như suy luận chuỗi dài, gọi công cụ và phân rã nhiệm vụ, qua đó hỗ trợ tốt hơn các quy trình tác tử phức tạp.
Tối ưu đồng thời tốc độ và độ chính xác: Trong thiết kế kiến trúc và chiến lược huấn luyện, Nemotron 3.5 Lightning thực hiện tối ưu đồng thời độ chính xác và tốc độ suy luận. Mô hình thể hiện hiệu suất tổng thể vượt trội so với các mô hình cùng loại trong bài kiểm tra chuẩn PinchBench, vừa bảo đảm chất lượng hoàn thành nhiệm vụ vừa tăng 30% tốc độ thực thi tổng thể của tác tử.

Tải xuống từ Hugging Face: Truy cập kho chính thức trên Hugging Face để tải trọng số mô hình, sau đó có thể tải và chạy Nemotron 3.5 Lightning cục bộ.
Nền tảng NVIDIA Build: Truy cập trang web chính thức của NVIDIA Build để xem giới thiệu mô hình, tài liệu kỹ thuật và hướng dẫn triển khai.
Triển khai trên thiết bị cục bộ: Triển khai mô hình trực tiếp trên các thiết bị cục bộ như PC NVIDIA RTX, DGX Spark, DGX Station hoặc Jetson.
Mở rộng cấp doanh nghiệp: Mở rộng liền mạch đến máy trạm RTX PRO, trung tâm dữ liệu hoặc môi trường đám mây để đáp ứng nhu cầu ứng dụng cấp doanh nghiệp.

Kiến trúc MoE với kích hoạt thưa: Mô hình sử dụng kiến trúc MoE với tổng 30B tham số và khoảng 3B tham số được kích hoạt, giúp giảm đáng kể chi phí tính toán trong khi vẫn duy trì năng lực của mô hình lớn.
Hiệu suất suy luận cực nhanh: So với các mô hình cùng loại, tốc độ đầu ra tăng 4 lần, giúp tốc độ hoàn thành tổng thể nhiệm vụ của tác tử tăng 30%.
Hỗ trợ lượng tử hóa NVFP4: Định dạng lượng tử hóa dấu phẩy động 4-bit do NVIDIA tự phát triển giúp giảm đáng kể mức sử dụng bộ nhớ GPU, cho phép triển khai trên mọi môi trường, từ PC RTX đến trung tâm dữ liệu.
Tối ưu chuyên biệt cho tác tử: Được huấn luyện chuyên biệt cho các nhiệm vụ đa tác tử vận hành dài hạn, mô hình đạt được sự cân bằng vượt trội giữa độ chính xác và tốc độ suy luận.

Trang web dự án: https://developer.nvidia.com/blog/nvidia-nemotron-3-5-lightning-delivers-fast-accurate-specialized-task-execution-for-long-running-agents/
Kho mô hình HuggingFace: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

Hệ thống phối hợp đa tác tử: Với vai trò là mô hình chuyên biệt cho nhiệm vụ, mô hình thúc đẩy các quy trình Agent phức tạp, thực hiện hiệu quả việc gọi công cụ, phân rã nhiệm vụ và suy luận chuỗi dài.
Suy luận AI biên cục bộ: Nhờ lượng tử hóa NVFP4 và cơ chế kích hoạt thưa, mô hình thực hiện suy luận cục bộ với độ trễ thấp và mức tiêu thụ điện năng thấp trên các thiết bị PC RTX và Jetson.
Nền tảng tác tử cấp doanh nghiệp: Mở rộng liền mạch đến trung tâm dữ liệu và đám mây, hỗ trợ các dịch vụ tác tử cấp doanh nghiệp và quy trình tự động hóa vận hành với tần suất cao và thời gian dài.
Phát triển mã và tự động hóa DevOps: Nhanh chóng tạo, đánh giá và gỡ lỗi mã, đẩy nhanh quá trình thực thi nhiệm vụ tác tử trong phát triển phần mềm và tích hợp liên tục.
Phân tích dữ liệu thời gian thực và hỗ trợ ra quyết định: Trong các kịch bản nghiệp vụ cần phản hồi nhanh, cung cấp kết quả suy luận tốc độ cao và chính xác để hỗ trợ ra quyết định theo thời gian thực.