R2T2 Faoliyat yuritmoqda

R2T2 — NetEase Youdao tomonidan ochiq manba sifatida taqdim etilgan, kechikishi past haqiqiy oqimli nutqni tanish modeli. To‘liq nomi Real Real-Time Transcription bo‘lib, Qwen3-ASR asosida qurilgan. R2T2 append-only mexanizmidan foydalanadi: ekranga chiqarilgan matn qayta o‘zgartirilmaydi. U 80ms–2s oralig‘ida sozlanadigan bo‘laklashni, xitoycha va inglizcha tillar uchun optimallashtirishni hamda kalit so‘zlar kontekstini qo‘llab-quvvatlaydi. O‘rtacha kechikish taxminan 200–600ms bo‘lib, vLLM, Transformers, llama.cpp/GGUF kabi backendlarni taqdim etadi. Model real vaqt subtitrlari, ovozli agentlar va sinxron tarjima frontendlari uchun mos.

Haqiqiy oqimli tanish: 80ms–2s oralig‘ida sozlanadigan chunklar orqali audio uzluksiz qabul qilinadi va matn uzluksiz chiqariladi.
Qayta o‘zgartirilmaydigan natija: tasdiqlangan matn o‘zgartirilmaydi, shu sababli subtitrlar miltillamaydi va agent harakatlari qayta yozilmaydi.
Past kechikish va yuqori aniqlik: rasmiy ma’lumotlarga ko‘ra, o‘rtacha kechikish taxminan 200–600ms, oqimli aniqlik esa oflayn tanishga yaqin.
Kalit so‘zlar/kontekst: promptlar, soha atamalari va atoqli nomlar kabi oldindan berilgan ma’lumotlarni qo‘llab-quvvatlab, kam uchraydigan so‘zlarni to‘g‘ri tanish darajasini oshiradi.
Ko‘p tillilik: xitoycha va inglizcha tillar optimallashtirilgan, shuningdek fransuz, nemis, italyan, yapon, koreys, rus, ispan, arab va boshqa tillararo imkoniyatlar saqlangan.
Bir nechta backendda joylashtirish: vLLM, Transformers, llama.cpp/GGUF qo‘llab-quvvatlanadi va WebSocket xizmatini ishga tushirish mumkin.

WeChat’da kuzatib boring va “开源” deb javob yuboring, AI ochiq manba loyihalari guruhiga qo‘shiling
Model asosi: R2T2 Qwen3-ASR asosida qurilgan bo‘lib, uning audio kodlash va ketma-ketlikni modellashtirish imkoniyatlarini meros qilib oladi hamda oqimli chiqarish uchun maxsus cheklovli o‘qitishdan foydalanadi.
Barqaror prefiksni o‘rganish: o‘qitish jarayonida stable-prefix, majburiy vaqt bo‘yicha tekislash va token darajasida audio bo‘laklash kabi ma’lumotlar konstruksiyasi qo‘llanadi. Shu orqali model qaysi prefikslar tashqariga chiqarish uchun yetarlicha barqaror ekanini aniqlashni o‘rganadi.
Commit/Wait dekodlash: audio’ning har bir kichik qismi kelganda, model avval joriy barqaror prefiksni baholaydi. Yetarlicha barqaror bo‘lsa, uni o‘zgarmas matn sifatida commit qiladi; aks holda wait holatida qolib, ko‘proq kontekstni keshlaydi.
Kontekstga asoslangan generatsiya: keyingi bashorat uchun faqat barqaror prefiks shart sifatida ishlatiladi. Bu semantik cheklovni yetarli darajada ta’minlab, avvalgi chiqishlarning keyingi audio sababli bekor qilinishiga yo‘l qo‘ymaydi.
Kechikish va aniqlikni sozlash: chunk hajmi, oxirgi qism uzunligi va qaytish oynasi kabi parametrlar orqali o‘tkazuvchanlik, kechikish va xatolarga chidamlilik boshqariladi. Kichik chunk tezroq, ammo xavfliroq; katta chunk barqarorroq, ammo sekinroq.

Repozitoriyni klonlash: git clone https://github.com/netease-youdao/Confucius4-R2T2.git.
Izolyatsiyalangan muhit yaratish: Conda yoki uv yordamida Python 3.12 muhitini yarating va pip install -e . buyrug‘ini bajaring yoki rasmiy qwenllm/qwen3-asr Docker’dan foydalaning.
Og‘irliklarni yuklab olish: backendga qarab HF/ModelScope’dagi Confucius4-R2T2 yoki Confucius4-R2T2-GGUF ni tanlang.
Avval oflayn/oqimli namunani ishga tushirish: ./run_example.sh audio.wav --model_path ... --infer_mode stream_vllm --language Chinese --chunk_size_ms 160.
Oqimli kod yozish: R2T2ASRModel.LLM ni yuklang, init_streaming_state() dan so‘ng 16kHz chunklar bo‘yicha streaming_transcribe() ni takroran chaqiring, oxirida finish_streaming_transcribe() ni ishga tushiring.
CPU/llama.cpp uchun joylashtirish: r2t2_llama dagi stream_llama_hybrid yoki stream_llama/onetime_llama rejimidan foydalaning.
Real vaqt xizmatini ishga tushirish: ./run_start_server.sh start --model_path ... --vad_model_path checkpoints/vad/Stream-VAD --port 8272 --gpu 0.
Mijozni ulash: ws://localhost:8272/asr_stream_api_v1 manziliga 16kHz mono int16 PCM yuboring, yakunda YOUDAO_ONETIME_ASR_STREAM_EOS yuboring.
Tajriba parametrlarini sozlash: kechikish, aniqlik va terminlarni tanish o‘rtasidagi muvozanatni language, chunk_size_ms, context/hotword va unfixed_token_num yordamida boshqaring.

Haqiqiy oqim va qayta o‘zgartirmaslik: chiqarilgan matn “qayta o‘zgartirilmaydigan natija” tamoyiliga amal qiladi, subtitrlar miltillashi va agentning noto‘g‘ri ishga tushishi oldini olinadi.
Past kechikish: rasmiy ma’lumotlarga ko‘ra, o‘rtacha kechikish taxminan 200–600ms bo‘lib, real vaqt subtitrlari, sinxron tarjima va ovozli agentlar uchun mos.
Kechikish/aniqlikni sozlash: 80ms–2s bo‘laklashni qo‘llab-quvvatlaydi, vaziyatga qarab tezlik va barqarorlik o‘rtasida tanlov qilish mumkin.
Oflayn imkoniyatlari ham kuchli: oqimli cheklovlar oflayn tanish aniqligini sezilarli darajada pasaytirmaydi, bitta model ikki turdagi vazifani bajara oladi.
Kuchli asos va ekotizim: Qwen3-ASR asosida qurilgan, ochiq manbaga chiqarilgach GGUF, llama.cpp, Core ML va oflayn vositalar bilan integratsiyalar tez paydo bo‘lgan.
Ishlab chiqarishga qulay: vLLM, Transformers, llama.cpp backendlari va WebSocket xizmatini taqdim etadi, bu esa ishlab chiqarish tizimlariga ulashni osonlashtiradi.
Boshqariladigan kirish oldindan ma’lumotlari: kontekst va kalit so‘zlar promptlarini qo‘llab-quvvatlab, inson ismlari, mahsulot nomlari va terminlarni tanish darajasini oshiradi.
Ko‘p tilli qamrov: xitoycha va inglizcha tillar optimallashtirilgan, shuningdek turli tillararo oqimli tanish imkoniyatlari saqlangan.

Loyiha rasmiy sayti: https://r2t2.ai/
GitHub repozitoriysi: https://github.com/netease-youdao/Confucius4-R2T2
HuggingFace model kutubxonasi: https://huggingface.co/netease-youdao/Confucius4-R2T2

Real vaqt konferensiya subtitrlari: nutq davomida yakuniy subtitrlar chiqarilib, subtitrlarni qayta o‘zgartirish sababli o‘qishga xalaqit kamaytiriladi.
Voice Agent buyruqlari: “uch yuzni uch mingga o‘zgartir” kabi o‘zgarib aytilgan jumlalarni barqaror tanib, agentning noto‘g‘ri bajarish xavfini kamaytiradi.
Avtomobil va aqlli qurilmalardagi ovozli muloqot: past kechikish sharoitida qaytarib bo‘lmaydigan buyruq matnlarini chiqaradi, navigatsiya, telefon va avtomobil boshqaruvi uchun mos.
Qo‘ng‘iroqlar markazida real vaqt yordamchisi: nutq davomida transkripsiya qilib, operatorga tavsiyalar yuboradi; kechikish, terminlar, kalit so‘zlar va mahalliy joylashtirish talablarini birgalikda hisobga oladi.
Darslar va imkoniyati cheklanganlar uchun diktant: eshitishida qiyinchiligi bo‘lganlar yoki qayd yozish vaziyatlari uchun barqaror so‘zma-so‘z oqimni taqdim etib, miltillash va keyingi tahrirlash xarajatlarini kamaytiradi.