R2T2 خدام

R2T2 هو موديل مفتوح المصدر من NetEase Youdao للتعرّف الصوتي الحقيقي المتدفّق بزمن تأخير منخفض، والاسم الكامل ديالو هو Real Real-Time Transcription، ومبني على Qwen3-ASR. كيستعمل R2T2 آلية append-only، يعني النص اللي بان ما كيرجعش يتبدّل، وكيدعم تقسيم قابل للضبط من 80ms حتى لـ2s، مع تحسين للصينية والإنجليزية وسياق الكلمات المفتاحية. متوسط التأخير كيدور تقريباً بين 200 و600ms، وكيوفّر backends بحال vLLM وTransformers وllama.cpp/GGUF، وكيصلح للترجمة الفورية، وVoice Agent، وواجهات الترجمة الفورية المتزامنة.

التعرّف الحقيقي المتدفّق: كيدخل الصوت على شكل chunk قابل للضبط من 80ms حتى لـ2s، وكيخرج النص باستمرار.
النص اللي تسجّل ما كيرجعش يتبدّل: النص المؤكَّد ما كيتعدّلش، وهاد الشي كيتفادى وميض الترجمة وتبديل أفعال الـAgent.
تأخير منخفض ودقة عالية: حسب المعطيات الرسمية، متوسط التأخير تقريباً بين 200 و600ms، والدقة فالوضع المتدفّق قريبة من التعرّف غير المتصل.
الكلمات المفتاحية والسياق: كيدعم prompts وكلمات المجال والأسماء الخاصة وغيرها من المعطيات المسبقة، باش يحسّن التعرّف على الكلمات النادرة.
لغات متعددة: محسّن للصينية والإنجليزية، مع الاحتفاظ بقدرات متعددة اللغات تشمل الفرنسية والألمانية والإيطالية واليابانية والكورية والروسية والإسبانية والعربية وغيرها.
نشر عبر backends متعددة: كيدعم vLLM وTransformers وllama.cpp/GGUF، وكيقدر يشغّل خدمة WebSocket.

تابع حساب WeChat وجاوب بـ“开源” باش تنضم لمجموعة التواصل ديال مشاريع الذكاء الاصطناعي مفتوحة المصدر
قاعدة الموديل: R2T2 مبني على Qwen3-ASR، وكيستافد من قدراتو فترميز الصوت ونمذجة السلاسل، مع تدريب مقيّد للإخراج المتدفّق.
تعلّم البادئة المستقرة: فالتدريب كيتستعمل stable-prefix والمحاذاة الزمنية الإلزامية وتقسيم الصوت على مستوى token وغيرها من طرق إعداد البيانات، باش يتعلّم الموديل يحدّد “شنو من بادئة ولات مستقرة كفاية باش تخرج”.
فكّ الترميز Commit/Wait: مع كل جزء صغير من الصوت، كييّقيّم الموديل البادئة المستقرة الحالية؛ إلا كانت مستقرة كفاية كيدير ليها commit كنص ما قابلش للتعديل، وإلا كيدير wait وكيكمّل يخزّن سياق أكثر.
التوليد المشروط بالسياق: غير البادئة المستقرة كتستعمل كشرط للتنبؤات اللاحقة، وهاد الشي كيعطي قيود دلالية كافية وكيضمن أن المخرجات السابقة ما يقلبهاش الصوت اللي من بعد.
التحكم فالتأخير والدقة: من خلال حجم chunk وطول النهاية أو نافذة الرجوع وغيرها من المعاملات، كتقدر تتحكّم فالإنتاجية والتأخير والتسامح مع الأخطاء؛ chunk صغير أسرع ولكن فيه مخاطرة أكثر، وchunk كبير أكثر استقراراً ولكن أبطأ.

كلون المستودع: git clone https://github.com/netease-youdao/Confucius4-R2T2.git.
وجد بيئة معزولة: استعمل Conda أو uv باش تنشئ بيئة Python 3.12، ومن بعد pip install -e .، أو استعمل مباشرة Docker الرسمي qwenllm/qwen3-asr.
نزّل الأوزان: اختار Confucius4-R2T2 أو Confucius4-R2T2-GGUF من HF/ModelScope حسب الـbackend.
بدا بمثال غير متصل أو متدفّق: ./run_example.sh audio.wav --model_path ... --infer_mode stream_vllm --language Chinese --chunk_size_ms 160.
كتب كود متدفّق: حمّل R2T2ASRModel.LLM، ومن بعد init_streaming_state() دورياً على chunks بتردد 16kHz واستعمل streaming_transcribe()، وفالأخير finish_streaming_transcribe().
إلا بغيتي النشر على CPU/llama.cpp: استعمل stream_llama_hybrid من r2t2_llama، أو وضعية stream_llama/onetime_llama.
شغّل خدمة فورية: استعمل ./run_start_server.sh start --model_path ... --vad_model_path checkpoints/vad/Stream-VAD --port 8272 --gpu 0.
ربط العميل: صيفط عبر ws://localhost:8272/asr_stream_api_v1 بيانات PCM بصيغة int16 mono و16kHz، وفالنهاية صيفط YOUDAO_ONETIME_ASR_STREAM_EOS.
ضبط معاملات التجربة: استعمل language وchunk_size_ms وcontext/hotword وunfixed_token_num للموازنة بين التأخير والدقة ونسبة التعرّف على المصطلحات.

تدفّق حقيقي بلا تعديل لاحق: النص اللي خرج بحال “قرار ما كيرجعش”، وكيمنع وميض الترجمة والتنفيذ الخاطئ ديال الـAgent.
تأخير منخفض: حسب المعطيات الرسمية، المتوسط تقريباً بين 200 و600ms، وكيصلح للترجمة الفورية والترجمة المتزامنة وVoice Agent.
التأخير والدقة قابلين للضبط: كيدعم تقسيم من 80ms حتى لـ2s، وكيخلّيك تختار بين السرعة والاستقرار حسب الحالة.
القدرة غير المتصلة ماشي ضعيفة: إضافة قيود التدفّق ما كتضحّيش بشكل واضح على دقة التعرّف غير المتصل، وموديل واحد يقدر يخدم النوعين ديال المهام.
قاعدة وإيكوسيستم قويين: مبني على Qwen3-ASR، ومن بعد فتح المصدر ظهرت بسرعة ملاءمات لـGGUF وllama.cpp وCore ML وأدوات العمل غير المتصل.
مناسب للهندسة: كيوفّر backends ديال vLLM وTransformers وllama.cpp وخدمة WebSocket، وهاد الشي كيسهّل الدمج فالإنتاج.
معطيات مسبقة قابلة للتحكم: كيدعم prompts ديال السياق والكلمات المفتاحية، وكيحسّن التعرّف على الأسماء الشخصية وأسماء المنتجات والمصطلحات.
تغطية لغوية متعددة: محسّن للصينية والإنجليزية، مع الاحتفاظ بقدرات التعرّف المتدفّق على لغات متعددة.

الموقع الرسمي: https://r2t2.ai/
مستودع GitHub: https://github.com/netease-youdao/Confucius4-R2T2
مستودع الموديل على HuggingFace: https://huggingface.co/netease-youdao/Confucius4-R2T2

الترجمة الفورية للاجتماعات: كيعطي ترجمة نهائية مع استمرار الكلام، وكيقلّل التشويش اللي كيسببو تعديل النص.
مدخلات أوامر Voice Agent: كيتعرّف باستقرار على جمل بحال “حوّل 300 وبدّلها لـ3000”، وكيقلّل خطر التنفيذ الخاطئ ديال الـAgent.
التفاعل الصوتي داخل السيارات والأجهزة الذكية: كيخرج نصوص أوامر ما كتتسحبش مع تأخير منخفض، وكيصلح للملاحة والمكالمات والتحكم فالسيارة.
المساعدة الفورية فمراكز الاتصال: كيدير التفريغ الصوتي وكيصيفط الإرشادات للموظف فالحين، مع الموازنة بين التأخير والمصطلحات والكلمات المفتاحية ومتطلبات النشر الخاص.
إملاء الدروس وإتاحة الوصول: كيوفّر تدفّقاً مستقراً كلمة بكلمة للأشخاص اللي عندهم ضعف فالسمع أو فحالات تدوين الملاحظات، وكيقلّل الوميض وتكلفة المراجعة من بعد.