R2T2 চালু আছে

R2T2 হলো NetEase Youdao-এর ওপেন-সোর্স করা একটি কম-লেটেন্সির সত্যিকারের স্ট্রিমিং স্পিচ রিকগনিশন মডেল। এর পূর্ণরূপ Real Real-Time Transcription এবং এটি Qwen3-ASR-এর ওপর ভিত্তি করে তৈরি। R2T2 append-only মেকানিজম ব্যবহার করে, ফলে স্ক্রিনে প্রদর্শিত টেক্সট পুনরায় পরিবর্তন করা হয় না। এটি 80ms—2s সমন্বয়যোগ্য চাঙ্ক, চীনা-ইংরেজি অপ্টিমাইজেশন এবং হটওয়ার্ড কনটেক্সট সমর্থন করে। গড় লেটেন্সি প্রায় 200—600ms। vLLM, Transformers, llama.cpp/GGUF ইত্যাদি ব্যাকএন্ড সরবরাহ করে এবং রিয়েল-টাইম সাবটাইটেল, ভয়েস Agent ও একযোগে অনুবাদের ফ্রন্টএন্ডের জন্য উপযোগী।

সত্যিকারের স্ট্রিমিং রিকগনিশন: 80ms–2s সমন্বয়যোগ্য chunk অনুযায়ী ধারাবাহিকভাবে অডিও গ্রহণ ও টেক্সট প্রদান করে।
প্রতিশ্রুতিবদ্ধ টেক্সট অপরিবর্তনীয়: জমা দেওয়া টেক্সট পুনরায় পরিবর্তন করা হয় না, ফলে সাবটাইটেল ঝলকানো এবং Agent-এর কাজ পুনর্লিখিত হওয়া এড়ানো যায়।
কম লেটেন্সি ও উচ্চ নির্ভুলতা: অফিসিয়াল তথ্য অনুযায়ী গড় লেটেন্সি প্রায় 200–600ms; স্ট্রিমিং নির্ভুলতা অফলাইন রিকগনিশনের কাছাকাছি।
হটওয়ার্ড/কনটেক্সট: প্রম্পট, ডোমেইন শব্দ ও বিশেষ নামের মতো পূর্বতথ্য সমর্থন করে, ফলে দুর্লভ শব্দ শনাক্ত করার হার বাড়ে।
বহুভাষিকতা: চীনা ও ইংরেজির জন্য অপ্টিমাইজ করা, পাশাপাশি ফরাসি, জার্মান, ইতালীয়, জাপানি, কোরিয়ান, রুশ, স্প্যানিশ ও আরবি ভাষাসহ আন্তঃভাষিক সক্ষমতা বজায় রাখে।
বহু ব্যাকএন্ডে ডিপ্লয়মেন্ট: vLLM, Transformers, llama.cpp/GGUF সমর্থন করে এবং WebSocket পরিষেবা চালু করা যায়।

WeChat-এ ফলো করে “开源” লিখে রিপ্লাই দিন এবং AI ওপেন-সোর্স প্রকল্পের আলোচনা গ্রুপে যোগ দিন
মডেলের ভিত্তি: R2T2 Qwen3-ASR-এর ওপর ভিত্তি করে তৈরি। এটি Qwen3-ASR-এর অডিও এনকোডিং ও সিকোয়েন্স মডেলিং ক্ষমতা উত্তরাধিকারসূত্রে গ্রহণ করে এবং স্ট্রিমিং আউটপুটের জন্য সীমাবদ্ধতাভিত্তিক প্রশিক্ষণ ব্যবহার করে।
স্থিতিশীল প্রিফিক্স শেখা: প্রশিক্ষণের সময় stable-prefix, বাধ্যতামূলক সময়-সামঞ্জস্য এবং token-স্তরের অডিও বিভাজনের মতো ডেটা নির্মাণ পদ্ধতি ব্যবহার করা হয়, যাতে মডেল বুঝতে শেখে কোন প্রিফিক্স যথেষ্ট স্থিতিশীল হয়ে বাইরে পাঠানো যায়।
Commit/Wait ডিকোডিং: অডিওর প্রতিটি ছোট অংশ আসার পর মডেল বর্তমান স্থিতিশীল প্রিফিক্স মূল্যায়ন করে। যথেষ্ট স্থিতিশীল হলে commit করে অপরিবর্তনীয় টেক্সটে পরিণত করে; না হলে wait করে আরও কনটেক্সট ক্যাশ করে।
কনটেক্সট-নির্ভর জেনারেশন: পরবর্তী পূর্বাভাসের শর্ত হিসেবে কেবল স্থিতিশীল প্রিফিক্স ব্যবহার করা হয়। এতে পর্যাপ্ত অর্থগত সীমাবদ্ধতা বজায় থাকে এবং পরবর্তী অডিওর কারণে পূর্বের আউটপুট বদলে যায় না।
লেটেন্সি—নির্ভুলতা সমন্বয়: chunk-এর আকার, শেষাংশের দৈর্ঘ্য/রোলব্যাক উইন্ডো ইত্যাদি প্যারামিটারের মাধ্যমে থ্রুপুট, লেটেন্সি ও ত্রুটি-সহনশীলতা নিয়ন্ত্রণ করা যায়। ছোট chunk দ্রুততর হলেও বেশি ঝুঁকিপূর্ণ; বড় chunk স্থিতিশীলতর হলেও ধীর।

রিপোজিটরি ক্লোন করুন: git clone https://github.com/netease-youdao/Confucius4-R2T2.git।
বিচ্ছিন্ন পরিবেশ তৈরি করুন: Conda বা uv ব্যবহার করে Python 3.12 পরিবেশ তৈরি করুন এবং pip install -e . চালান, অথবা সরাসরি অফিসিয়াল qwenllm/qwen3-asr Docker ব্যবহার করুন।
ওজন ডাউনলোড করুন: ব্যাকএন্ড অনুযায়ী HF/ModelScope থেকে Confucius4-R2T2 বা Confucius4-R2T2-GGUF নির্বাচন করুন।
প্রথমে অফলাইন/স্ট্রিমিং উদাহরণ চালান: ./run_example.sh audio.wav --model_path ... --infer_mode stream_vllm --language Chinese --chunk_size_ms 160।
স্ট্রিমিং কোড লিখুন: R2T2ASRModel.LLM লোড করুন, init_streaming_state() চালানোর পর 16kHz chunk অনুযায়ী streaming_transcribe() লুপে কল করুন এবং শেষে finish_streaming_transcribe() চালান।
CPU/llama.cpp ডিপ্লয়মেন্টের জন্য: r2t2_llama-এর stream_llama_hybrid অথবা stream_llama/onetime_llama মোড ব্যবহার করুন।
রিয়েল-টাইম পরিষেবা চালু করুন: ./run_start_server.sh start --model_path ... --vad_model_path checkpoints/vad/Stream-VAD --port 8272 --gpu 0 ব্যবহার করুন।
ক্লায়েন্ট সংযুক্ত করুন: ws://localhost:8272/asr_stream_api_v1-এ 16kHz mono int16 PCM পাঠান এবং শেষে YOUDAO_ONETIME_ASR_STREAM_EOS পাঠান।
অভিজ্ঞতার প্যারামিটার সমন্বয় করুন: লেটেন্সি, নির্ভুলতা ও পরিভাষা শনাক্ত করার মধ্যে ভারসাম্য আনতে language, chunk_size_ms, context/hotword, unfixed_token_num ব্যবহার করুন।

সত্যিকারের স্ট্রিমিং এবং পুনর্লিখনহীন: আউটপুট হওয়া টেক্সট “প্রতিশ্রুতিবদ্ধ ও অপরিবর্তনীয়”, ফলে সাবটাইটেল ঝলকানো এবং Agent-এর ভুলভাবে কাজ সম্পাদন এড়ানো যায়।
কম লেটেন্সি: অফিসিয়াল তথ্য অনুযায়ী গড়ে প্রায় 200–600ms, তাই রিয়েল-টাইম সাবটাইটেল, একযোগে অনুবাদ ও ভয়েস Agent-এর জন্য উপযোগী।
লেটেন্সি/নির্ভুলতা সমন্বয়যোগ্য: 80ms–2s বিভাজন সমর্থন করে, ফলে পরিস্থিতি অনুযায়ী দ্রুততর বা স্থিতিশীল মোড বেছে নেওয়া যায়।
অফলাইন সক্ষমতাও শক্তিশালী: স্ট্রিমিং সীমাবদ্ধতা যোগ করলেও অফলাইন রিকগনিশনের নির্ভুলতা উল্লেখযোগ্যভাবে কমে না; একই মডেল দুই ধরনের কাজ সামলাতে পারে।
শক্তিশালী ভিত্তি ও ইকোসিস্টেম: Qwen3-ASR-এর ওপর ভিত্তি করে তৈরি; ওপেন-সোর্স হওয়ার পর দ্রুত GGUF, llama.cpp, Core ML ও অফলাইন টুলে সমর্থন যুক্ত হয়েছে।
ইঞ্জিনিয়ারিংয়ের জন্য সুবিধাজনক: vLLM, Transformers, llama.cpp ব্যাকএন্ড এবং WebSocket পরিষেবা সরবরাহ করে, ফলে প্রোডাকশনে সংযুক্ত করা সহজ।
নিয়ন্ত্রিত ইনপুট পূর্বতথ্য: কনটেক্সট/হটওয়ার্ড প্রম্পট সমর্থন করে, ফলে ব্যক্তি, পণ্য ও পরিভাষার নাম শনাক্ত করার হার বাড়ে।
বহুভাষিক সমর্থন: চীনা ও ইংরেজির জন্য অপ্টিমাইজ করা, পাশাপাশি বিভিন্ন আন্তঃভাষিক স্ট্রিমিং রিকগনিশন সক্ষমতা বজায় রাখে।

অফিসিয়াল ওয়েবসাইট: https://r2t2.ai/
GitHub রিপোজিটরি: https://github.com/netease-youdao/Confucius4-R2T2
HuggingFace মডেল রিপোজিটরি: https://huggingface.co/netease-youdao/Confucius4-R2T2

রিয়েল-টাইম মিটিং সাবটাইটেল: কথা বলার সঙ্গে সঙ্গে চূড়ান্ত সাবটাইটেল প্রদর্শন করে, ফলে সাবটাইটেল পুনর্লিখনের কারণে পাঠে বিঘ্ন কমে।
Voice Agent কমান্ড ইনপুট: “তিনশো টাকা ট্রান্সফার” থেকে “তিন হাজার টাকা” করার মতো সংশোধিত কথ্য নির্দেশ স্থিতিশীলভাবে শনাক্ত করে, ফলে Agent-এর ভুল কাজের ঝুঁকি কমে।
গাড়ি/স্মার্ট হার্ডওয়্যার ভয়েস ইন্টারঅ্যাকশন: কম লেটেন্সির সীমাবদ্ধতার মধ্যে প্রত্যাহার-অযোগ্য নির্দেশের টেক্সট প্রদান করে, যা নেভিগেশন, ফোন ও গাড়ি নিয়ন্ত্রণের জন্য উপযোগী।
কল সেন্টারে রিয়েল-টাইম সহায়তা: কথা বলার সঙ্গে সঙ্গে ট্রান্সক্রাইব করে এজেন্টকে পরামর্শ পাঠায় এবং লেটেন্সি, পরিভাষা-হটওয়ার্ড ও স্থানীয় ডিপ্লয়মেন্টের কমপ্লায়েন্সের ভারসাম্য বজায় রাখে।
ক্লাসরুম/অ্যাক্সেসিবল ডিক্টেশন: শ্রবণপ্রতিবন্ধী ব্যক্তি বা নোট নেওয়ার ক্ষেত্রে স্থিতিশীল শব্দ-অনুযায়ী স্ট্রিম সরবরাহ করে, ফলে ঝলকানো ও পরবর্তী সংশোধনের খরচ কমে।