Nemotron 3.5 Lightning Inafanya kazi

Nemotron 3.5 Lightning ni modeli ya MoE yenye vigezo 30B, ya chanzo huria iliyotengenezwa na NVIDIA, iliyoboreshwa mahususi kwa mifumo ya mawakala wengi. Ikilinganishwa na modeli zinazofanana, kasi ya utoaji imeongezeka mara 4, huku kasi ya kukamilisha kazi za mawakala ikiongezeka kwa 30%, na hivyo kufikia uwiano bora kati ya usahihi na kasi. Modeli hii inaweza kutumwa katika mazingira yote kuanzia RTX PC na Jetson hadi vituo vya data. Tayari imetolewa kama chanzo huria kwenye majukwaa kama Hugging Face na NVIDIA Build, na kusaidia kutengeneza programu bora zaidi za mawakala.

Utekelezaji wa kazi za mawakala wengi: Modeli hii imeundwa mahususi kwa kazi maalum katika mifumo mikubwa ya mawakala wengi, na kuwasaidia watengenezaji kuunda programu za mawakala zenye akili na ufanisi zaidi.
Utoaji wa matokeo kwa kasi: Ikilinganishwa na modeli zinazofanana, Nemotron 3.5 Lightning inaweza kuongeza kasi ya utoaji hadi mara 4, na kuongeza kasi ya jumla ya kukamilisha kazi za mawakala kwa 30%.
Utumaji rahisi katika mazingira yote: Modeli inaweza kuendeshwa moja kwa moja kwenye mifumo ya ndani ya AI, ikiwemo NVIDIA RTX PC, DGX Spark na Jetson, au kupanuliwa bila mshono hadi vifaa vya ukingoni, vituo vya kazi, vituo vya data na mazingira ya wingu.

Fuata WeChat na ujibu “开源” ili ujiunge na kundi la mawasiliano la miradi ya AI ya chanzo huria
Usanifu wa MoE wa wataalamu mchanganyiko: Nemotron 3.5 Lightning hutumia usanifu wa MoE (wataalamu mchanganyiko) wenye vigezo 30B, huku jumla ya vigezo ikiwa bilioni 30. Katika kila uendeshaji wa makisio, mtandao mdogo wenye takribani vigezo bilioni 3 pekee huwashwa. Kwa kutumia uanzishaji haba, modeli hupunguza kwa kiasi kikubwa gharama ya ukokotoaji huku ikihifadhi uwezo wa modeli kubwa, na hivyo kuwezesha makisio yenye ufanisi.
Mfinyazo wa kvantishaji wa NVFP4: Modeli hii inasaidia umbizo la kvantishaji la NVFP4, ambalo ni mpango wa NVIDIA wa usahihi wa nukta inayoelea wa 4-bit. Hupunguza kwa kiasi kikubwa ukubwa wa modeli na matumizi ya kumbukumbu ya video, na kuiwezesha kufanya kazi kwa urahisi kwenye vifaa vya watumiaji na vya ukingoni kama RTX PC na Jetson.
Uboreshaji mahususi kwa mazingira ya mawakala: Modeli hii imefunzwa na kuboreshwa mahususi kwa mazingira ya ushirikiano wa mawakala wengi (Multi-Agent), ikilenga kuimarisha uthabiti na usahihi wa hatua muhimu kama vile kufikiri kwa minyororo mirefu, kuita zana na kugawanya kazi, ili kusaidia vyema mtiririko changamano wa kazi za mawakala.
Uboreshaji wa pamoja wa kasi na usahihi: Katika usanifu na mikakati ya mafunzo, Nemotron 3.5 Lightning imeboresha kwa pamoja usahihi na kasi ya makisio. Katika jaribio la kigezo la PinchBench, imeonyesha utendaji wa jumla ulio bora kuliko modeli zinazofanana, ikihakikisha ubora wa kukamilisha kazi huku ikiongeza kasi ya jumla ya utekelezaji wa mawakala kwa 30%.

Pakua kutoka Hugging Face: Tembelea hazina rasmi ya Hugging Face kupakua uzani wa modeli, kisha upakie na uendeshe Nemotron 3.5 Lightning ndani ya kifaa.
Jukwaa la NVIDIA Build: Tembelea tovuti rasmi ya NVIDIA Build ili kupata maelezo ya modeli, nyaraka za kiufundi na mwongozo wa utumaji.
Utumaji kwenye vifaa vya ndani: Tuma modeli moja kwa moja kwenye vifaa vya ndani kama NVIDIA RTX PC, DGX Spark, DGX Station au Jetson.
Upanuzi wa kiwango cha biashara: Panua bila mshono hadi vituo vya kazi vya RTX PRO, vituo vya data au mazingira ya wingu ili kukidhi mahitaji ya programu za kiwango cha biashara.

Usanifu wa MoE wenye uanzishaji haba: Modeli hii hutumia usanifu wa MoE wenye jumla ya vigezo 30B na takribani vigezo 3B vinavyoamilishwa, na hivyo kupunguza kwa kiasi kikubwa gharama ya ukokotoaji huku ikihifadhi uwezo wa modeli kubwa.
Utendaji wa makisio wa kasi ya juu: Ikilinganishwa na modeli zinazofanana, kasi ya utoaji imeongezeka mara 4, na kasi ya jumla ya kukamilisha kazi za mawakala inaweza kuongezeka kwa 30%.
Msaada wa kvantishaji wa NVFP4: Kwa kutumia umbizo la NVIDIA la kvantishaji ya nukta inayoelea ya 4-bit, matumizi ya kumbukumbu ya video hupunguzwa kwa kiasi kikubwa, na kuwezesha utumaji katika mazingira yote kuanzia RTX PC hadi vituo vya data.
Uboreshaji mahususi kwa mawakala: Imefunzwa mahususi kwa kazi za mawakala wengi zinazoendeshwa kwa muda mrefu, na kufikia uwiano bora kati ya usahihi na kasi ya makisio.

Tovuti rasmi ya mradi:https://developer.nvidia.com/blog/nvidia-nemotron-3-5-lightning-delivers-fast-accurate-specialized-task-execution-for-long-running-agents/
Hifadhi ya modeli ya HuggingFace:https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

Mifumo ya ushirikiano wa mawakala wengi: Kama modeli ya kazi maalum, huendesha mtiririko changamano wa kazi za Agent na kutekeleza kwa ufanisi kuita zana, kugawanya kazi na kufikiri kwa minyororo mirefu.
Makisio ya AI ya ndani kwenye ukingo: Kwa kutegemea kvantishaji ya NVFP4 na utaratibu wa uanzishaji haba, huwezesha makisio ya ndani yenye ucheleweshaji na matumizi ya nishati ya chini kwenye vifaa vya RTX PC na Jetson.
Jukwaa la mawakala la kiwango cha biashara: Hupanuka bila mshono hadi vituo vya data na mazingira ya wingu, na kusaidia huduma za mawakala za kiwango cha biashara na michakato ya kiotomatiki inayofanya kazi mara kwa mara na kwa muda mrefu.
Uundaji wa misimbo na uendeshaji wa DevOps kiotomatiki: Hutengeneza, hukagua na kutatua hitilafu za misimbo kwa haraka, na kuharakisha utekelezaji wa kazi za mawakala katika uundaji wa programu na ujumuishaji endelevu.
Uchambuzi wa data wa wakati halisi na usaidizi wa maamuzi: Katika matukio ya biashara yanayohitaji mwitikio wa haraka, hutoa matokeo ya makisio yenye kasi na usahihi ili kusaidia kufanya maamuzi ya wakati halisi.