R2T2 Inafanya kazi

R2T2 ni modeli ya utambuzi wa sauti ya mtiririko halisi yenye ucheleweshaji mdogo iliyotolewa kama chanzo huria na NetEase Youdao. Jina lake kamili ni Real Real-Time Transcription, na imejengwa kwa msingi wa Qwen3-ASR. R2T2 hutumia utaratibu wa append-only, hivyo maandishi yaliyoonyeshwa hayawezi kubadilishwa tena. Inaauni vipande vinavyoweza kurekebishwa vya 80ms—2s, imeboreshwa kwa Kichina na Kiingereza pamoja na muktadha wa maneno maalum. Ucheleweshaji wa wastani ni takriban 200—600ms. Inatoa back-end za vLLM, Transformers, llama.cpp/GGUF na nyinginezo, na inafaa kwa manukuu ya wakati halisi, mawakala wa sauti na mifumo ya mbele ya tafsiri ya wakati mmoja.

Utambuzi wa mtiririko halisi: hupokea sauti kwa chunk zinazoweza kurekebishwa za 80ms–2s na kutoa maandishi mfululizo.
Hakuna kubadilisha maandishi yaliyothibitishwa: maandishi yaliyowasilishwa hayabadilishwi, hivyo kuzuia kumeta kwa manukuu na kubadilishwa kwa vitendo vya Agent.
Ucheleweshaji mdogo na usahihi wa juu: kwa mujibu wa taarifa rasmi, ucheleweshaji wa wastani ni takriban 200–600ms, huku usahihi wa mtiririko ukikaribia utambuzi wa nje ya mtiririko.
Maneno maalum/muktadha: huunga mkono vidokezo, maneno ya kisekta, majina maalum na maarifa mengine ya awali ili kuboresha utambuzi wa maneno adimu.
Lugha nyingi: imeboreshwa kwa Kichina na Kiingereza, huku ikihifadhi uwezo wa lugha mbalimbali ukiwemo Kifaransa, Kijerumani, Kiitalia, Kijapani, Kikorea, Kirusi na Kihispania.
Utekelezaji wa back-end nyingi: huunga mkono vLLM, Transformers, llama.cpp/GGUF na inaweza kuanzisha huduma ya WebSocket.

Fuata WeChat na ujibu “开源” ili ujiunge na kikundi cha mawasiliano cha miradi ya AI ya chanzo huria
Msingi wa modeli: R2T2 imejengwa kwa Qwen3-ASR, inarithi uwezo wake wa kusimba sauti na kuunda mfuatano, na hutumia mafunzo yenye vizuizi kwa utoaji wa mtiririko.
Ujifunzaji wa kiambishi awali thabiti: wakati wa mafunzo, data huundwa kwa kutumia stable-prefix, upangaji wa muda wa lazima na ugawaji wa sauti wa kiwango cha tokeni, ili modeli ijifunze kutambua “ni viambishi awali vipi ambavyo tayari vimetulia vya kutosha kutumwa”.
Usimbaji wa Commit/Wait: kila kipande kidogo cha sauti kinapowasili, modeli hutathmini kiambishi awali cha sasa kilicho thabiti; kikiwa thabiti vya kutosha, hukithibitisha kuwa maandishi yasiyoweza kubadilishwa, na kikiwa hakijawa thabiti husubiri huku ikiweka muktadha zaidi akiba.
Uzalishaji unaotegemea muktadha: kiambishi awali thabiti pekee ndicho hutumika kama sharti la utabiri unaofuata, hivyo kutoa kizuizi cha kutosha cha maana na kuhakikisha matokeo ya awali hayabatilishwi na sauti inayofuata.
Marekebisho ya ucheleweshaji na usahihi: ukubwa wa chunk, urefu wa mwisho na dirisha la kurudi nyuma hudhibiti upitishaji, ucheleweshaji na uwezo wa kustahimili makosa. Chunk ndogo huwa haraka lakini hatarishi zaidi, huku chunk kubwa zikiwa thabiti zaidi lakini polepole.

Clone hazina: git clone https://github.com/netease-youdao/Confucius4-R2T2.git.
Unda mazingira yaliyotengwa: tumia Conda au uv kuunda mazingira ya Python 3.12 na uendeshe pip install -e ., au tumia moja kwa moja Docker rasmi ya qwenllm/qwen3-asr.
Pakua uzani: chagua Confucius4-R2T2 au Confucius4-R2T2-GGUF kutoka HF/ModelScope kulingana na back-end.
Anzisha mfano wa nje ya mtiririko/wa mtiririko: ./run_example.sh audio.wav --model_path ... --infer_mode stream_vllm --language Chinese --chunk_size_ms 160.
Andika msimbo wa mtiririko: pakia R2T2ASRModel.LLM, ita init_streaming_state(), kisha ita streaming_transcribe() kwa mfululizo ukitumia chunk za 16kHz, na mwishowe ita finish_streaming_transcribe().
Kwa utekelezaji wa CPU/llama.cpp: tumia hali ya r2t2_llama ya stream_llama_hybrid au stream_llama/onetime_llama.
Anzisha huduma ya wakati halisi: tumia ./run_start_server.sh start --model_path ... --vad_model_path checkpoints/vad/Stream-VAD --port 8272 --gpu 0.
Unganisha mteja: tuma 16kHz mono int16 PCM kwenye ws://localhost:8272/asr_stream_api_v1, na mwishoni tuma YOUDAO_ONETIME_ASR_STREAM_EOS.
Rekebisha vigezo vya matumizi: tumia language, chunk_size_ms, context/hotword na unfixed_token_num kusawazisha ucheleweshaji, usahihi na utambuzi wa istilahi.

Mtiririko halisi bila kubadilisha matokeo: maandishi yaliyotolewa ni kama “uamuzi usioweza kubadilishwa”, hivyo kuzuia kumeta kwa manukuu na utekelezaji usio sahihi wa Agent.
Ucheleweshaji mdogo: kwa mujibu wa taarifa rasmi, wastani ni takriban 200–600ms, hivyo inafaa kwa manukuu ya wakati halisi, tafsiri ya wakati mmoja na mawakala wa sauti.
Ucheleweshaji na usahihi unaoweza kurekebishwa: huunga mkono vipande vya 80ms–2s, na huruhusu kuchagua kati ya kasi na uthabiti kulingana na hali.
Uwezo mzuri wa nje ya mtiririko: kuongeza vizuizi vya mtiririko hakupunguzi kwa kiasi kikubwa usahihi wa utambuzi wa nje ya mtiririko, hivyo modeli moja inaweza kushughulikia aina zote mbili za kazi.
Msingi na ikolojia imara: ikiwa imejengwa kwa Qwen3-ASR, baada ya kutolewa kama chanzo huria ilipata haraka ulinganifu wa GGUF, llama.cpp, Core ML na zana za nje ya mtiririko.
Inafaa kwa uhandisi: hutoa back-end za vLLM, Transformers, llama.cpp na huduma ya WebSocket, hivyo kurahisisha kuunganishwa katika uzalishaji.
Vidokezo vya awali vya ingizo vinavyodhibitika: huunga mkono vidokezo vya muktadha/maneno maalum ili kuboresha utambuzi wa majina ya watu, bidhaa na istilahi.
Ufikiaji wa lugha nyingi: imeboreshwa kwa Kichina na Kiingereza, huku ikihifadhi uwezo wa utambuzi wa mtiririko katika lugha mbalimbali.

Tovuti rasmi ya mradi: https://r2t2.ai/
Hazina ya GitHub: https://github.com/netease-youdao/Confucius4-R2T2
Hazina ya modeli ya HuggingFace: https://huggingface.co/netease-youdao/Confucius4-R2T2

Manukuu ya mikutano ya wakati halisi: hutoa manukuu yaliyokamilika wakati mzungumzaji anaendelea kuzungumza, na kupunguza usumbufu wa kusoma unaosababishwa na kubadilishwa kwa manukuu.
Mlango wa amri za Voice Agent: hutambua kwa uthabiti sentensi za kujirekebisha kama “hamisha mia tatu badala ya elfu tatu”, na kupunguza hatari ya Agent kutekeleza amri isiyo sahihi.
Mwingiliano wa sauti kwenye magari/vifaa mahiri: hutoa maandishi ya amri yasiyoweza kufutwa tena chini ya masharti ya ucheleweshaji mdogo, yanayofaa kwa urambazaji, simu na udhibiti wa gari.
Msaada wa wakati halisi kwa vituo vya mawasiliano: hunakili maneno na kuyatuma kwa mhudumu kama vidokezo wakati mazungumzo yanaendelea, huku ikisawazisha ucheleweshaji, maneno maalum na uzingatiaji wa matumizi ya ndani.
Uandishi wa darasani/usio na vizuizi: huwapa watu wenye ulemavu wa kusikia au wanaohitaji kuandika madokezo mtiririko thabiti wa maneno, na kupunguza kumeta pamoja na gharama ya masahihisho ya baadaye.