Nemotron 3.5 Lightning 운영 중

Nemotron 3.5 Lightning은 NVIDIA가 출시한 30B 파라미터 오픈 소스 MoE 모델로, 멀티 에이전트 시스템에 최적화되었습니다. 동급 모델 대비 출력 속도는 4배 향상되었고 에이전트 작업 완료 속도는 30% 빨라져 정확도와 속도 사이에서 뛰어난 균형을 제공합니다. 이 모델은 RTX PC, Jetson부터 데이터센터까지 모든 환경에 배포할 수 있으며, Hugging Face와 NVIDIA Build 등의 플랫폼에서 이미 오픈 소스로 공개되어 더욱 효율적인 에이전트 애플리케이션 개발을 지원합니다.

멀티 에이전트 작업 실행: 이 모델은 대규모 멀티 에이전트 시스템의 특정 작업을 위해 설계되어 개발자가 더욱 지능적이고 효율적인 에이전트 애플리케이션을 구축할 수 있도록 지원합니다.
고속 추론 출력: 동급 모델과 비교해 Nemotron 3.5 Lightning은 최대 4배 향상된 출력 속도를 제공하며, 에이전트 작업의 전체 완료 속도를 30% 높입니다.
모든 환경에 유연하게 배포: NVIDIA RTX PC, DGX Spark, Jetson 등을 포함한 로컬 AI 시스템에서 직접 실행할 수 있으며, 엣지 디바이스, 워크스테이션, 데이터센터 및 클라우드 환경으로도 원활하게 확장할 수 있습니다.

WeChat에서 팔로우 후 “오픈 소스”라고 답장하여 AI 오픈 소스 프로젝트 교류 그룹에 참여하세요.
MoE 혼합 전문가 아키텍처: Nemotron 3.5 Lightning은 30B 파라미터의 MoE(혼합 전문가) 아키텍처를 사용하며, 총 파라미터 수는 300억 개입니다. 각 추론 과정에서는 약 30억 개 파라미터로 구성된 하위 네트워크만 활성화됩니다. 희소 활성화 메커니즘을 통해 대규모 모델의 성능을 유지하면서 계산 비용을 크게 줄여 효율적인 추론을 구현합니다.
NVFP4 양자화 압축: 이 모델은 NVIDIA가 자체 개발한 4-bit 부동소수점 정밀도 방식인 NVFP4 양자화 형식을 지원합니다. 이를 통해 모델 크기와 VRAM 사용량을 크게 줄여 RTX PC와 Jetson 같은 소비자용 및 엣지 디바이스에서도 원활하게 실행할 수 있습니다.
에이전트 시나리오 전용 최적화: 멀티 에이전트 협업 시나리오에 맞춰 전문적으로 학습 및 최적화되었으며, 긴 추론 체인, 도구 호출, 작업 분해 등 핵심 단계의 안정성과 정확도를 중점적으로 향상해 복잡한 에이전트 워크플로를 더욱 효과적으로 지원합니다.
속도와 정확도의 공동 최적화: 아키텍처 설계와 학습 전략에서 Nemotron 3.5 Lightning은 정확도와 추론 속도를 함께 최적화했습니다. PinchBench 벤치마크에서 동급 모델보다 뛰어난 종합 성능을 보여 작업 품질을 보장하는 동시에 에이전트의 전체 실행 속도를 30% 향상시킵니다.

Hugging Face 다운로드: Hugging Face 공식 저장소에 접속해 모델 가중치를 다운로드하면 로컬에서 Nemotron 3.5 Lightning을 로드하여 실행할 수 있습니다.
NVIDIA Build 플랫폼: NVIDIA Build 공식 웹사이트에서 모델 소개, 기술 문서 및 배포 가이드를 확인하세요.
로컬 디바이스 배포: NVIDIA RTX PC, DGX Spark, DGX Station 또는 Jetson 등의 로컬 디바이스에 모델을 직접 배포하여 실행할 수 있습니다.
엔터프라이즈 확장: RTX PRO 워크스테이션, 데이터센터 또는 클라우드 환경으로 원활하게 확장하여 엔터프라이즈 애플리케이션 요구사항을 충족할 수 있습니다.

MoE 희소 활성화 아키텍처: 총 30B 파라미터와 약 3B 활성 파라미터로 구성된 MoE 아키텍처를 사용해 대규모 모델의 성능을 유지하면서 계산 비용을 크게 줄입니다.
초고속 추론 성능: 동급 모델 대비 출력 속도가 4배 향상되어 에이전트 작업의 전체 완료 속도를 30% 높일 수 있습니다.
NVFP4 양자화 지원: NVIDIA가 자체 개발한 4-bit 부동소수점 양자화 형식으로 VRAM 사용량을 크게 줄여 RTX PC부터 데이터센터까지 모든 환경에 배포할 수 있습니다.
에이전트 전용 최적화: 멀티 에이전트 장시간 실행 작업을 위해 전문적으로 학습되어 정확도와 추론 속도 사이에서 뛰어난 균형을 제공합니다.

프로젝트 공식 웹사이트: https://developer.nvidia.com/blog/nvidia-nemotron-3-5-lightning-delivers-fast-accurate-specialized-task-execution-for-long-running-agents/
HuggingFace 모델 저장소: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

멀티 에이전트 협업 시스템: 전용 작업 모델로서 복잡한 Agent 워크플로를 구동하고 도구 호출, 작업 분해 및 긴 추론 체인을 효율적으로 처리합니다.
로컬 엣지 AI 추론: NVFP4 양자화와 희소 활성화 메커니즘을 활용해 RTX PC와 Jetson 디바이스에서 지연 시간과 전력 소비가 낮은 로컬 추론을 구현합니다.
엔터프라이즈 에이전트 플랫폼: 데이터센터와 클라우드로 원활하게 확장하여 높은 빈도와 장시간 실행이 필요한 엔터프라이즈 에이전트 서비스 및 자동화 프로세스를 지원합니다.
코드 개발 및 DevOps 자동화: 코드를 빠르게 생성, 검토 및 디버깅하여 소프트웨어 개발과 지속적 통합 과정에서 에이전트 작업 실행을 가속합니다.
실시간 데이터 분석 및 의사결정 지원: 신속한 대응이 필요한 비즈니스 시나리오에서 빠르고 정확한 추론 결과를 제공하여 실시간 의사결정을 지원합니다.