R2T2 آپریشن میں

R2T2 نیٹ ایز یوڈاؤ کا اوپن سورس کم تاخیر والا حقیقی اسٹریمنگ اسپیچ ریکگنیشن ماڈل ہے، جس کا پورا نام Real Real-Time Transcription ہے اور جو Qwen3-ASR پر مبنی ہے۔ R2T2 append-only میکانزم استعمال کرتا ہے، اس لیے اسکرین پر آ چکا متن دوبارہ تبدیل نہیں ہوتا۔ یہ 80ms—2s کے قابلِ ترتیب بلاکس، چینی و انگریزی کے لیے بہتر کارکردگی اور ہاٹ ورڈ سیاق و سباق کی معاونت فراہم کرتا ہے، جبکہ اوسط تاخیر تقریباً 200—600ms ہے۔ یہ vLLM، Transformers، llama.cpp/GGUF سمیت متعدد بیک اینڈز فراہم کرتا ہے اور حقیقی وقت کے سب ٹائٹلز، وائس ایجنٹ اور بیک وقت ترجمانی کے فرنٹ اینڈ کے لیے موزوں ہے۔

حقیقی اسٹریمنگ ریکگنیشن: 80ms–2s کے قابلِ ترتیب chunk کے مطابق آڈیو مسلسل وصول اور متن مسلسل تیار کیا جاتا ہے۔
جمع شدہ متن میں ترمیم نہیں: جمع ہو چکا متن دوبارہ تبدیل نہیں ہوتا، جس سے سب ٹائٹلز کے جھلملانے اور ایجنٹ کے ایکشن میں تبدیلی سے بچا جا سکتا ہے۔
کم تاخیر اور اعلیٰ درستگی: سرکاری اعداد کے مطابق اوسط تاخیر تقریباً 200–600ms ہے، جبکہ اسٹریمنگ کی درستگی آف لائن ریکگنیشن کے قریب ہے۔
ہاٹ ورڈ/سیاق و سباق: پرامپٹ، شعبہ جاتی الفاظ اور خاص ناموں جیسے پیشگی اشاروں کی معاونت، جس سے نایاب الفاظ کی شناخت بہتر ہوتی ہے۔
کثیر لسانی معاونت: چینی اور انگریزی کے لیے بہتر بنایا گیا ہے، جبکہ فرانسیسی، جرمن، اطالوی، جاپانی، کوریائی، روسی، ہسپانوی، عربی اور دیگر زبانوں کی صلاحیت بھی برقرار ہے۔
متعدد بیک اینڈز پر تعیناتی: vLLM، Transformers، llama.cpp/GGUF کی معاونت، اور WebSocket سروس شروع کرنے کی سہولت۔

WeChat پر فالو کریں اور “开源” کا جواب بھیج کر AI اوپن سورس پروجیکٹ گروپ میں شامل ہوں۔
ماڈل کی بنیاد: R2T2، Qwen3-ASR پر مبنی ہے اور اس کی آڈیو انکوڈنگ و سلسلہ جاتی ماڈلنگ کی صلاحیتیں وراثت میں لیتا ہے، جبکہ اسٹریمنگ آؤٹ پٹ کے لیے پابندی پر مبنی تربیت کی گئی ہے۔
مستحکم سابقہ سیکھنا: تربیت کے دوران stable-prefix، لازمی زمانی ہم زمانی اور ٹوکن سطح پر آڈیو تقسیم جیسی ڈیٹا تیاری کی تکنیکیں استعمال کی جاتی ہیں، تاکہ ماڈل یہ سیکھ سکے کہ کون سا سابقہ اتنا مستحکم ہو چکا ہے کہ اسے باہر بھیجا جا سکے۔
Commit/Wait ڈیکوڈنگ: آڈیو کا ہر چھوٹا حصہ آنے پر ماڈل موجودہ مستحکم سابقے کا جائزہ لیتا ہے؛ کافی مستحکم ہونے پر اسے ناقابلِ ترمیم متن کے طور پر commit کر دیا جاتا ہے، ورنہ مزید سیاق و سباق محفوظ کرنے کے لیے wait کیا جاتا ہے۔
سیاق و سباق پر مبنی تخلیق: بعد کی پیش گوئی کے لیے صرف مستحکم سابقے کو شرط بنایا جاتا ہے، جس سے معنوی پابندی بھی برقرار رہتی ہے اور سابقہ آؤٹ پٹ بعد کی آڈیو سے تبدیل بھی نہیں ہوتا۔
تاخیر اور درستگی میں توازن: chunk کے حجم، اختتامی حصے کی لمبائی اور واپسی کی ونڈو جیسے پیرامیٹرز کے ذریعے تھروپٹ، تاخیر اور غلطی برداشت کرنے کی صلاحیت کو کنٹرول کیا جاتا ہے۔ چھوٹا chunk تیز مگر زیادہ خطرناک، جبکہ بڑا chunk زیادہ مستحکم مگر سست ہوتا ہے۔

ریپوزٹری کلون کریں: git clone https://github.com/netease-youdao/Confucius4-R2T2.git۔
الگ ماحول بنائیں: Conda یا uv کے ذریعے Python 3.12 کا ماحول بنائیں اور pip install -e . چلائیں، یا براہِ راست سرکاری qwenllm/qwen3-asr Docker استعمال کریں۔
وزنز ڈاؤن لوڈ کریں: بیک اینڈ کے مطابق HF/ModelScope سے Confucius4-R2T2 یا Confucius4-R2T2-GGUF منتخب کریں۔
پہلے آف لائن/اسٹریمنگ مثال چلائیں: ./run_example.sh audio.wav --model_path ... --infer_mode stream_vllm --language Chinese --chunk_size_ms 160۔
اسٹریمنگ کوڈ لکھیں: R2T2ASRModel.LLM لوڈ کریں، init_streaming_state() کے بعد 16kHz chunk کے ذریعے streaming_transcribe() کو مسلسل چلائیں، اور آخر میں finish_streaming_transcribe() چلائیں۔
CPU/llama.cpp پر تعیناتی کے لیے: r2t2_llama کا stream_llama_hybrid یا stream_llama/onetime_llama موڈ استعمال کریں۔
حقیقی وقت کی سروس شروع کریں: ./run_start_server.sh start --model_path ... --vad_model_path checkpoints/vad/Stream-VAD --port 8272 --gpu 0 چلائیں۔
کلائنٹ سے جڑیں: ws://localhost:8272/asr_stream_api_v1 پر 16kHz mono int16 PCM بھیجیں، اور اختتام پر YOUDAO_ONETIME_ASR_STREAM_EOS بھیجیں۔
تجربے کے پیرامیٹرز ایڈجسٹ کریں: تاخیر، درستگی اور اصطلاحات کی شناخت کے درمیان توازن کے لیے language، chunk_size_ms، context/hotword اور unfixed_token_num استعمال کریں۔

حقیقی اسٹریمنگ اور بغیر ترمیم: جاری کیا گیا متن “جمع شدہ متن میں ترمیم نہیں” کے اصول پر مبنی ہے، جس سے سب ٹائٹلز کے جھلملانے اور ایجنٹ کے غلط عمل سے بچا جا سکتا ہے۔
کم تاخیر: سرکاری اعداد کے مطابق اوسط تقریباً 200–600ms ہے، اس لیے یہ حقیقی وقت کے سب ٹائٹلز، بیک وقت ترجمانی اور وائس ایجنٹ کے لیے موزوں ہے۔
تاخیر اور درستگی قابلِ ترتیب: 80ms–2s کے بلاکس کی معاونت، جس سے استعمال کے منظرنامے کے مطابق رفتار اور استحکام میں توازن قائم کیا جا سکتا ہے۔
آف لائن صلاحیت بھی مضبوط: اسٹریمنگ پابندیوں کے اضافے سے آف لائن ریکگنیشن کی درستگی نمایاں طور پر متاثر نہیں ہوتی، اس لیے ایک ہی ماڈل دونوں طرح کے کام سنبھال سکتا ہے۔
مضبوط بنیاد اور ماحولیاتی نظام: Qwen3-ASR پر مبنی ہونے کی وجہ سے اوپن سورس کے بعد GGUF، llama.cpp، Core ML اور آف لائن ٹولز کے لیے تیزی سے موافقت سامنے آئی۔
انجینئرنگ کے لیے موزوں: vLLM، Transformers، llama.cpp بیک اینڈز اور WebSocket سروس فراہم کرتا ہے، جس سے پروڈکشن میں انضمام آسان ہوتا ہے۔
قابلِ کنٹرول پیشگی اشارے: سیاق و سباق/ہاٹ ورڈ پرامپٹس کی معاونت، جس سے افراد، مصنوعات اور اصطلاحات کے ناموں کی شناخت بہتر ہوتی ہے۔
کثیر لسانی کوریج: چینی اور انگریزی کے لیے بہتر، جبکہ متعدد زبانوں میں اسٹریمنگ ریکگنیشن کی صلاحیت بھی برقرار ہے۔

پروجیکٹ کی سرکاری ویب سائٹ: https://r2t2.ai/
GitHub ریپوزٹری: https://github.com/netease-youdao/Confucius4-R2T2
HuggingFace ماڈل ریپوزٹری: https://huggingface.co/netease-youdao/Confucius4-R2T2

حقیقی وقت کی میٹنگ کے سب ٹائٹلز: گفتگو کے ساتھ ساتھ حتمی سب ٹائٹلز تیار ہوتے ہیں، جس سے بار بار تبدیل ہونے والے سب ٹائٹلز کی وجہ سے پڑھنے میں خلل کم ہوتا ہے۔
Voice Agent کے لیے ہدایات کا ان پٹ: “تین سو کی منتقلی کو تین ہزار کر دو” جیسے خود تصحیح شدہ جملوں کو مستحکم انداز میں شناخت کرنا، جس سے ایجنٹ کے غلط عمل کا خطرہ کم ہوتا ہے۔
گاڑیوں اور اسمارٹ ہارڈویئر کے لیے وائس انٹریکشن: کم تاخیر کی پابندیوں کے تحت ناقابلِ واپسی ہدایتی متن تیار کرنا، جو نیویگیشن، فون اور گاڑی کے کنٹرول کے منظرناموں کے لیے موزوں ہے۔
کال سینٹر میں حقیقی وقت کی معاونت: گفتگو کے ساتھ ساتھ تحریری متن تیار کر کے ایجنٹ کو تجاویز بھیجنا، جبکہ تاخیر، اصطلاحاتی ہاٹ ورڈز اور نجی تعیناتی کی تعمیل میں توازن برقرار رکھنا۔
کلاس روم اور قابلِ رسائی ڈکٹییشن: سماعت سے محروم افراد یا نوٹس لینے کے لیے مستحکم لفظ بہ لفظ اسٹریمنگ فراہم کرنا، جس سے جھلملانے اور بعد ازاں ترمیم کی لاگت کم ہوتی ہے۔