Nemotron 3.5 Transcribe Inafanya kazi

Nemotron 3.5 Transcribe ni modeli kubwa ya sauti ya chanzo huria iliyotengenezwa na NVIDIA, yenye usanifu wa kisimbaji sauti pamoja na MoE, takriban vigezo bilioni 4.3 vinavyotumika, inasaidia lugha 40, na inaweza kuchakata rekodi ya hadi saa 1 yenye hadi wazungumzaji 8. Inatoa unukuzi wa neno kwa neno, utambuzi wa wazungumzaji, tafsiri na vipengele vingine. Nemotron 3.5 Transcribe inaruhusu kutumia maagizo ya lugha asilia kubinafsisha muundo wa matokeo, inaweza kubadilishwa kwa nyanja maalum kupitia fine-tuning, na ni bure kwa matumizi ya kibiashara.

Unukuzi wa lugha nyingi: Inasaidia lugha 40 na inaweza kubadilisha rekodi za sauti kuwa maandishi, huku ikitambua lugha zinazotumiwa katika mazungumzo.
Utambuzi wa wazungumzaji: Inaweza kutofautisha hadi wazungumzaji 8 na kuweka lebo ya mzungumzaji kwa kila sentensi, hivyo inafaa kwa mikutano na mahojiano ya watu wengi.
Uchakataji wa sauti ndefu: Inaweza kuchakata rekodi yenye urefu wa hadi takriban saa 1 kwa wakati mmoja.
Unukuzi unaoongozwa na maagizo: Tumia lugha asilia kubainisha muundo wa matokeo, kama manukuu ya neno kwa neno, mpangilio wa lugha rasmi, kuondoa maneno ya kujaza na uandishi wa istilahi, bila mafunzo upya.
Tafsiri ya sauti: Inaweza kutafsiri kati ya lugha 31 na Kiingereza.
Mihuri ya muda kwa kiwango cha neno: Hurejesha nafasi ya wakati ya kila neno kwenye sauti, hivyo kurahisisha kusikiliza tena na kutafuta.
Urekebishaji wa nyanja: Kwa kutumia zana ya NeMo Speech, inaweza kubadilishwa haraka kwa mazingira maalum kwa data kidogo kwenye GPU moja.

Fuatilia WeChat na ujibu “开源” ili ujiunge na kikundi cha mawasiliano ya miradi ya AI ya chanzo huria
Speech-Augmented Language Model (SALM): Modeli ina sehemu tatu. Kisimbaji sauti cha Transformer hutoa vipengele vya sauti, modeli iliyogandishwa ya kutenganisha wazungumzaji ya Nemotron 3 hutoa taarifa za shughuli za wazungumzaji, na zote huunganishwa kwenye modeli kubwa ya lugha ya Nemotron 3.5 Lightning 30B-A3B yenye usanifu mchanganyiko wa Mamba-Transformer MoE. Jumla ya vigezo ni takriban bilioni 34, lakini takriban vigezo bilioni 4.3 pekee huwashwa katika kila uelekezaji, hivyo kusawazisha uwezo na ufanisi.
Kisimbaji cha wataalamu sambamba: Ishara za shughuli za wazungumzaji zinazotolewa na modeli iliyogandishwa ya utenganishaji huingizwa kwenye uwasilishaji wa kisimbaji cha ASR. Hii huwezesha modeli kukamilisha unukuzi wenye lebo za wazungumzaji chini ya usanifu mmoja wa LLM bila mabadiliko, na hufunzwa kwa kutoa matokeo yaliyopangwa kwa mfululizo.
Mchanganyiko wenye usawazishaji wa usimamizi: Data ya mafunzo huchaguliwa kulingana na idadi ya tokeni za majibu, si idadi ya sampuli. Kila sampuli ya ASR inaweza kuunganishwa na maagizo mengi ya kazi, hivyo uwezo mpya unaweza kuongezwa kwa kiwango cha sampuli cha chini ya 1%. Mafunzo yote yana hatua mbili: fine-tuning inayosimamiwa na hatua fupi ya ujifunzaji wa kuimarisha, ambayo huboresha moja kwa moja usahihi wa unukuzi.
Usimbaji wa kubashiri wa MTP: Modeli huboresha kwa pamoja lengo la utabiri wa tokeni nyingi (MTP) wakati wa mafunzo, hivyo tabaka lake la MTP linaweza kutumika moja kwa moja kama modeli rasimu ya usimbaji wa kubashiri wa vLLM. Pia kuna modeli rasimu ya DFlash2 kama chaguo mbadala. Kwa pamoja, hizi zinaweza kufikia upitishaji wa sekunde 2238 za sauti kwa sekunde kwenye GPU moja ya RTX PRO 6000 Blackwell.
Adapta ya mihuri ya muda ya CTC: Baada ya usimbaji, adapta nyepesi ya CTC hupangilia maandishi yaliyotengenezwa na sauti, na kutoa mihuri ya muda ya kiwango cha neno yenye lebo za wazungumzaji kwa sauti ndefu na mazungumzo yenye mwingiliano mkubwa, bila kuongeza mzigo kwa modeli kuu.

Andaa vifaa: Toleo la BF16 linahitaji takriban GB 80 za VRAM; unaweza kuchagua FP8/NVFP4 au toleo la GGUF ili kupunguza mahitaji.
Pata modeli: Tafuta NVIDIA-Nemotron-3.5-Transcribe-30B-A4B kwenye Hugging Face au ModelScope, kisha pakua uzani chini ya leseni ya OpenMDW-1.1.
Sakinisha mazingira: Chagua mojawapo ya njia tatu za usambazaji: Nemotron Transcribe NIM (kontena rasmi), vLLM (inayounga mkono uongezaji kasi wa MTP), au NeMo-Speech.cpp (uendeshaji wa ndani wa GGUF).
Andaa sauti: Pakia faili ya rekodi yenye urefu wa hadi saa 1 na uibadilishe kuwa umbizo linalohitajika na mfumo unaotumia.
Andika kidokezo: Eleza kazi kwa lugha asilia, kama “hifadhi maneno halisi na uweke lebo za wazungumzaji” au “ondoa maneno ya kujaza na utasiri kwa Kiingereza”.
Endesha uelekezaji: Tuma sauti na kidokezo kupitia kiolesura; modeli itarejesha maandishi ya unukuzi, na inapohitajika itaambatanisha lebo za wazungumzaji na mihuri ya muda ya kiwango cha neno.
(Si lazima) Jaribio la haraka: Ikiwa hutaki kusambaza modeli, unaweza kuijaribu mtandaoni kupitia nafasi ya nvidia/nemotron-transcribe kwenye Hugging Face.
(Si lazima) Fine-tuning ya nyanja: Tumia zana ya NeMo Speech kuandaa data yenye lebo; GPU moja inahitaji takriban saa 0.5–2.3 ili kuzoea lafudhi, istilahi na miundo yako.

Matokeo yanayoongozwa na maagizo: Tumia sentensi moja ya lugha asilia kubadilisha kati ya unukuzi wa neno kwa neno, maandishi yaliyopangwa, tafsiri na miundo mingine, bila mafunzo upya au kusanidi modeli nyingi.
Usahihi mkubwa wa unukuzi: WER ya wastani ni 4.71% kwenye ubao wa Open ASR wa Kiingereza na 4.62% kwenye ubao wa lugha nyingi, zote zikiwa za kwanza kati ya modeli zenye uzani wazi.
Utambuzi bora wa wazungumzaji: Katika kazi za unukuzi wenye lebo za wazungumzaji kwenye sauti ya watu wengi inayopishana, imepita kwa mara ya kwanza mifumo maalum ya mfululizo, huku ikiunga mkono hadi saa 1 na wazungumzaji 8.
Uwezo thabiti wa kusahihisha kwa muktadha: Baada ya kupewa orodha ya istilahi, majina na huluki nyingine, kiwango cha makosa ya huluki zilizotajwa kinaweza kupungua mara 6, hivyo istilahi za kitaalamu hazitabirikiwi tena.
Mihuri ya muda ya kiwango cha neno yenye lebo za wazungumzaji: Upangiliaji mwepesi wa CTC hufanya matokeo ya unukuzi yawe rahisi kusikiliza tena na kutafutwa, na kusaidia moja kwa moja programu kama uchezaji wa masomo na utafutaji wa mikutano.
Ufanisi mkubwa wa uelekezaji: Usimbaji wa kubashiri wa MTP wa asili pamoja na modeli rasimu ya DFlash2 huwezesha RTX PRO 6000 moja kuchakata sekunde 2238 za sauti kwa sekunde.

Maktaba ya modeli ya Hugging Face: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
Waraka wa kiufundi: https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Transcribe-Technical-Report.pdf

Muhtasari wa mikutano na uchimbaji wa maamuzi: Hutambua wazungumzaji kiotomatiki, huhifadhi maneno halisi ya majadiliano, na hutoa hitimisho na majukumu ya kufuatilia kulingana na maagizo.
Mahojiano ya vyombo vya habari na uhariri wa habari: Huhifadhi maneno halisi ya mhojiwa na kuweka lebo za wazungumzaji ili kuhakikisha usahihi wa nukuu, huku ikiweza kuondoa maneno ya kujaza inapohitajika.
Uchezaji wa masomo na mafunzo: Hutengeneza manukuu yenye mihuri ya muda ya kiwango cha neno, na kuwawezesha wanafunzi kutafuta maneno muhimu na kuruka moja kwa moja hadi wakati mwalimu alipoeleza dhana hiyo.
Rekodi za kitabibu na nyanja za kitaalamu: Kwa kuchanganya orodha ya istilahi na fine-tuning ya nyanja, hubadilisha mazungumzo kati ya wahudumu wa afya na wagonjwa kuwa maandishi ya rekodi za kitabibu katika muundo sanifu, na kupunguza makosa ya istilahi za kitaalamu.
Ujanibishaji wa maudhui ya lugha nyingi: Hutafsiri moja kwa moja rekodi katika lugha 40 na kutoa maandishi ya Kiingereza kwa mikutano ya kimataifa, mahojiano au utengenezaji wa manukuu ya video.