Nemotron 3.5 Lightning آپریشن میں

Nemotron 3.5 Lightning این ویڈیا کا تیار کردہ 30B پیرامیٹرز والا اوپن سورس MoE ماڈل ہے، جسے کثیر ایجنٹ نظاموں کے لیے بہتر بنایا گیا ہے۔ ہم نوع ماڈلز کے مقابلے میں آؤٹ پٹ کی رفتار 4 گنا زیادہ ہے اور ایجنٹ کے کاموں کی تکمیل کی رفتار 30% بڑھ جاتی ہے، جس سے درستگی اور رفتار کے درمیان بہترین توازن قائم ہوتا ہے۔ یہ ماڈل RTX PC، Jetson سے لے کر ڈیٹا سینٹر تک ہر طرح کے ماحول میں تعیناتی کو سپورٹ کرتا ہے، اور Hugging Face، NVIDIA Build سمیت متعدد پلیٹ فارمز پر اوپن سورس دستیاب ہے، جس سے زیادہ مؤثر ایجنٹ ایپلی کیشنز کی تیاری میں مدد ملتی ہے۔

کثیر ایجنٹ کاموں کی انجام دہی: یہ ماڈل بڑے کثیر ایجنٹ نظاموں میں مخصوص کاموں کے لیے تیار کیا گیا ہے، جس سے ڈویلپرز زیادہ ذہین اور مؤثر ایجنٹ ایپلی کیشنز بنا سکتے ہیں۔
تیز رفتار استدلالی آؤٹ پٹ: ہم نوع ماڈلز کے مقابلے میں Nemotron 3.5 Lightning آؤٹ پٹ کی رفتار میں 4 گنا تک اضافہ فراہم کرتا ہے اور ایجنٹ کے کاموں کی مجموعی تکمیل کی رفتار 30% بڑھا دیتا ہے۔
تمام ماحول میں لچک دار تعیناتی: یہ ماڈل مقامی AI نظاموں، جن میں NVIDIA RTX PC، DGX Spark اور Jetson شامل ہیں، پر براہِ راست چل سکتا ہے، اور کنارے کے آلات، ورک اسٹیشنز، ڈیٹا سینٹرز اور کلاؤڈ ماحول تک بغیر رکاوٹ توسیع دی جا سکتی ہے۔

WeChat پر فالو کریں اور “开源” کا جواب دے کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں
MoE مکسڈ ایکسپرٹ آرکیٹیکچر: Nemotron 3.5 Lightning 30B پیرامیٹرز کے MoE (مکسڈ ایکسپرٹ) آرکیٹیکچر کا استعمال کرتا ہے، جس کے کل پیرامیٹرز 3000 کروڑ ہیں۔ ہر بار استدلال کے دوران صرف تقریباً 300 کروڑ پیرامیٹرز پر مشتمل ذیلی نیٹ ورک فعال ہوتا ہے۔ یہ sparse activation میکانزم بڑے ماڈل کی صلاحیت برقرار رکھتے ہوئے حسابی لاگت کو نمایاں طور پر کم کرتا اور مؤثر استدلال ممکن بناتا ہے۔
NVFP4 کوانٹائزیشن کمپریشن: یہ ماڈل NVFP4 کوانٹائزیشن فارمیٹ کو سپورٹ کرتا ہے، جو این ویڈیا کا تیار کردہ 4-bit فلوٹنگ پوائنٹ پریسیژن حل ہے۔ یہ ماڈل کے حجم اور ویڈیو میموری کے استعمال کو نمایاں طور پر کم کرتا ہے، جس سے یہ RTX PC اور Jetson جیسے صارف سطح کے اور کنارے کے آلات پر روانی سے چل سکتا ہے۔
ایجنٹ منظرناموں کے لیے خصوصی بہتری: اس ماڈل کی تربیت اور بہتری کثیر ایجنٹ (Multi-Agent) اشتراکی منظرناموں کے لیے خصوصی طور پر کی گئی ہے، جس میں طویل سلسلہ استدلال، ٹول کالنگ اور کاموں کی تقسیم جیسے اہم مراحل کے استحکام اور درستگی کو بہتر بنانے پر توجہ دی گئی ہے، تاکہ پیچیدہ ایجنٹ ورک فلو کو بہتر طور پر سپورٹ کیا جا سکے۔
رفتار اور درستگی کی مشترکہ بہتری: آرکیٹیکچر کے ڈیزائن اور تربیتی حکمت عملی میں Nemotron 3.5 Lightning نے درستگی اور استدلالی رفتار کو مشترکہ طور پر بہتر بنایا ہے۔ PinchBench بینچ مارک ٹیسٹ میں اس نے ہم نوع ماڈلز سے بہتر مجموعی کارکردگی دکھائی، کاموں کے معیار کو برقرار رکھتے ہوئے ایجنٹ کی مجموعی عمل درآمد کی رفتار 30% بڑھا دی۔

Hugging Face سے ڈاؤن لوڈ: Hugging Face کے سرکاری ذخیرے پر جا کر ماڈل کے وزن ڈاؤن لوڈ کریں، پھر Nemotron 3.5 Lightning کو مقامی طور پر لوڈ کر کے چلایا جا سکتا ہے۔
NVIDIA Build پلیٹ فارم: ماڈل کا تعارف، تکنیکی دستاویزات اور تعیناتی رہنما حاصل کرنے کے لیے NVIDIA Build کی سرکاری ویب سائٹ ملاحظہ کریں۔
مقامی آلات پر تعیناتی: ماڈل کو NVIDIA RTX PC، DGX Spark، DGX Station یا Jetson جیسے مقامی آلات پر براہِ راست تعینات کر کے چلائیں۔
انٹرپرائز سطح کی توسیع: انٹرپرائز ایپلی کیشنز کی ضروریات پوری کرنے کے لیے RTX PRO ورک اسٹیشنز، ڈیٹا سینٹر یا کلاؤڈ ماحول تک بغیر رکاوٹ توسیع دیں۔

MoE sparse activation آرکیٹیکچر: ماڈل 30B کل پیرامیٹرز اور تقریباً 3B فعال پیرامیٹرز والے MoE آرکیٹیکچر کا استعمال کرتا ہے، جو بڑے ماڈل کی صلاحیت برقرار رکھتے ہوئے حسابی لاگت کو نمایاں طور پر کم کرتا ہے۔
انتہائی تیز استدلالی کارکردگی: ہم نوع ماڈلز کے مقابلے میں آؤٹ پٹ کی رفتار 4 گنا زیادہ ہے، جس سے ایجنٹ کے کاموں کی مجموعی تکمیل کی رفتار 30% بڑھ جاتی ہے۔
NVFP4 کوانٹائزیشن سپورٹ: این ویڈیا کے تیار کردہ 4-bit فلوٹنگ پوائنٹ کوانٹائزیشن فارمیٹ کے ذریعے ویڈیو میموری کے استعمال کو نمایاں طور پر کم کیا گیا ہے، جس سے RTX PC سے ڈیٹا سینٹر تک ہر ماحول میں تعیناتی ممکن ہوتی ہے۔
ایجنٹس کے لیے خصوصی بہتری: کثیر ایجنٹ کے طویل دورانیے تک چلنے والے کاموں کے لیے خصوصی تربیت دی گئی ہے، جس سے درستگی اور استدلالی رفتار کے درمیان بہترین توازن حاصل ہوتا ہے۔

پروجیکٹ کی سرکاری ویب سائٹ：https://developer.nvidia.com/blog/nvidia-nemotron-3-5-lightning-delivers-fast-accurate-specialized-task-execution-for-long-running-agents/
HuggingFace ماڈل ذخیرہ：https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

کثیر ایجنٹ اشتراکی نظام: مخصوص کاموں کے ماڈل کے طور پر پیچیدہ Agent ورک فلو کو چلاتا ہے اور ٹول کالنگ، کاموں کی تقسیم اور طویل سلسلہ استدلال کو مؤثر طریقے سے مکمل کرتا ہے۔
مقامی کنارے پر AI استدلال: NVFP4 کوانٹائزیشن اور sparse activation میکانزم کی مدد سے RTX PC اور Jetson آلات پر کم تاخیر اور کم توانائی کے ساتھ مقامی استدلال فراہم کرتا ہے۔
انٹرپرائز سطح کا ایجنٹ پلیٹ فارم: ڈیٹا سینٹر اور کلاؤڈ تک بغیر رکاوٹ توسیع دی جا سکتی ہے، جس سے زیادہ تعدد اور طویل دورانیے تک چلنے والی انٹرپرائز ایجنٹ خدمات اور خودکار ورک فلو کو سپورٹ ملتی ہے۔
کوڈ ڈیولپمنٹ اور DevOps آٹومیشن: کوڈ تیزی سے تیار، جانچ اور ڈیبگ کرتا ہے، جس سے سافٹ ویئر ڈیولپمنٹ اور مسلسل انضمام میں ایجنٹ کاموں کی انجام دہی تیز ہوتی ہے۔
حقیقی وقت میں ڈیٹا تجزیہ اور فیصلہ سازی میں معاونت: فوری ردِعمل کی ضرورت والے کاروباری منظرناموں میں تیز اور درست استدلالی نتائج فراہم کر کے حقیقی وقت کے فیصلوں میں مدد دیتا ہے۔