R2T2 運営中

R2T2は、網易有道がオープンソースで公開する低遅延の真のストリーミング音声認識モデルです。正式名称はReal Real-Time Transcriptionで、Qwen3-ASRをベースに構築されています。R2T2はappend-only方式を採用し、画面に表示済みのテキストを書き換えません。80ms〜2sの可変チャンク、中国語・英語の最適化、ホットワードコンテキストに対応し、平均遅延は約200〜600msです。vLLM、Transformers、llama.cpp/GGUFなどのバックエンドを提供し、リアルタイム字幕、音声Agent、同時通訳フロントエンドに適しています。

真のストリーミング認識：80ms〜2sの可変chunkで音声を継続的に入力し、テキストを継続的に出力します。
後戻りなし：確定済みのテキストを書き換えないため、字幕のちらつきやAgentのアクションの書き換えを防ぎます。
低遅延・高精度：公式発表では平均遅延は約200〜600msで、ストリーミング精度はオフライン認識に近い水準です。
ホットワード／コンテキスト：プロンプト、分野用語、固有名詞などの事前情報に対応し、認識しにくい語の的中率を高めます。
多言語：中国語・英語を最適化しつつ、フランス語、ドイツ語、イタリア語、日本語、韓国語、ロシア語、スペイン語、アラビア語などの多言語能力も維持しています。
複数バックエンドへのデプロイ：vLLM、Transformers、llama.cpp/GGUFに対応し、WebSocketサービスも起動できます。

WeChatでフォローして「開源」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます。
モデル基盤：R2T2はQwen3-ASRをベースとし、その音声エンコーディングと系列モデリング能力を継承しながら、ストリーミング出力向けの制約学習を行っています。
安定プレフィックス学習：学習時にstable-prefix、強制的な時間アライメント、トークン単位の音声分割などのデータ構築を用い、「どのプレフィックスがすでに十分安定して外部出力できるか」をモデルに学習させます。
Commit/Waitデコード：短い音声が入力されるたびに、モデルは現在の安定プレフィックスを評価します。十分に安定していれば変更不可のテキストとしてcommitし、不十分ならwaitしてさらにコンテキストを蓄積します。
コンテキスト条件付き生成：安定プレフィックスのみを後続予測の条件とすることで、十分な意味制約を与えながら、後続音声によって過去の出力が覆されないようにします。
遅延と精度の調整：chunkサイズ、末尾の長さ／後退ウィンドウなどのパラメータでスループット、遅延、許容度を制御します。小さいchunkは高速ですがリスクが高く、大きいchunkは安定する一方で遅くなります。

リポジトリをクローン：git clone https://github.com/netease-youdao/Confucius4-R2T2.git。
分離環境を構築：CondaまたはuvでPython 3.12環境を作成してpip install -e .を実行するか、公式のqwenllm/qwen3-asr Dockerを直接使用します。
重みをダウンロード：バックエンドに応じて、HF/ModelScopeのConfucius4-R2T2またはConfucius4-R2T2-GGUFを選択します。
まずオフライン／ストリーミングのサンプルを実行：./run_example.sh audio.wav --model_path ... --infer_mode stream_vllm --language Chinese --chunk_size_ms 160。
ストリーミングコードを記述：R2T2ASRModel.LLMを読み込み、init_streaming_state()の後、16kHzのchunkごとにstreaming_transcribe()を繰り返し呼び出し、最後にfinish_streaming_transcribe()を実行します。
CPU／llama.cppでデプロイ：r2t2_llamaのstream_llama_hybrid、またはstream_llama/onetime_llamaモードを使用します。
リアルタイムサービスを起動：./run_start_server.sh start --model_path ... --vad_model_path checkpoints/vad/Stream-VAD --port 8272 --gpu 0を使用します。
クライアントを接続：ws://localhost:8272/asr_stream_api_v1へ16kHz mono int16 PCMを送信し、終了時にYOUDAO_ONETIME_ASR_STREAM_EOSを送信します。
体験パラメータを調整：language、chunk_size_ms、context/hotword、unfixed_token_numを使い、遅延、精度、用語の認識率のバランスを調整します。

真のストリーミングで書き換えなし：出力済みテキストは「後戻りなし」となり、字幕のちらつきやAgentの誤実行を防ぎます。
低遅延：公式発表では平均約200〜600msで、リアルタイム字幕、同時通訳、音声Agentに適しています。
遅延と精度を調整可能：80ms〜2sの分割に対応し、用途に応じて高速さと安定性を切り替えられます。
オフライン性能も十分：ストリーミング制約を加えてもオフライン認識精度を大きく損なわず、1つのモデルで両方の用途に対応できます。
強力な基盤とエコシステム：Qwen3-ASRをベースとし、オープンソース化後、GGUF、llama.cpp、Core ML、オフラインツールへの対応が迅速に進んでいます。
実運用に適した設計：vLLM、Transformers、llama.cppのバックエンドとWebSocketサービスを提供し、プロダクション環境へ容易に組み込めます。
入力する事前情報を制御可能：コンテキスト／ホットワードのプロンプトに対応し、人名、製品名、専門用語の認識率を高めます。
多言語対応：中国語・英語を最適化しつつ、複数言語のストリーミング認識能力も維持しています。

公式サイト：https://r2t2.ai/
GitHubリポジトリ：https://github.com/netease-youdao/Confucius4-R2T2
HuggingFaceモデルリポジトリ：https://huggingface.co/netease-youdao/Confucius4-R2T2

リアルタイム会議字幕：発言しながら確定字幕を出力し、字幕の書き換えによる読解の妨げを減らします。
Voice Agentの指示入力：「300元に送金」を「3000元に変更」のような言い直しを安定して認識し、Agentの誤実行リスクを低減します。
車載／スマートハードウェアの音声インタラクション：低遅延の制約下で取り消し不能な指示テキストを出力し、ナビゲーション、通話、車両制御に適しています。
コンタクトセンターのリアルタイム支援：発話と同時に文字起こししてオペレーターへヒントを提示し、遅延、専門用語・ホットワード、プライベート環境でのコンプライアンスを両立します。
授業／アクセシビリティ向け文字起こし：聴覚障害者やノート作成の場面に安定した逐語ストリームを提供し、ちらつきや後からの修正コストを減らします。