T3PO 運営中

T3POは、NetEase Youdaoがオープンソースで公開したストリーミング同時通訳モデルです。正式名称は「simulTaneous Translation via pareTo Policy Optimization」。T3POは話しながら翻訳することを目指し、コンテキストが十分かを動的に判断します。十分ならすぐに翻訳を開始し、不十分なら少し待つことで、パレートの考え方により品質と遅延のバランスを取ります。T3POはR2T2と組み合わせることで、話しながら聞き、翻訳する処理チェーンを構築できます。言い直し、決算報告の数字、英語の口語表現の除去などの場面に最適化されています。

ストリーミング同時通訳：原文が継続的に入力されると、文全体の発話を待たずに受信しながら訳文を出力します。
読み書きの判断：コンテキストが十分ならWRITEで訳文を出力し、不十分ならREADで待機を続け、「速さ」と「正確さ」のバランスを自律的に取ります。
品質と遅延の調整：パレートの考え方で翻訳品質と遅延を分けて最適化し、同じ方策で低遅延または高忠実度に寄せられます。
音声同時通訳の閉ループ：R2T2と接続し、確定した増分認識テキストを原文として、「話しながら聞き、翻訳する」処理を実現します。
実際の口語場面への適応：言い直し、決算報告の数字、英語の口語表現などに対応し、人間の同時通訳に近い処理方策を採用しています。

WeChatで「オープンソース」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます
タスクのモデル化：T3POは同時通訳を増分意思決定プロセスとして捉えます。モデルは各ステップで「聞き取った原文のプレフィックス＋生成済み訳文のプレフィックス」を観察し、原文を待つためにREADを続けるか、次の目的語を生成するためにWRITEするかを決定し、出力が終わるまで続けます。
品質と遅延の分離：翻訳品質と応答遅延を別々に測定し、パレート前線上で操作点を選択します。同じモデルで、「多少遅くても正確さを優先する」需要と「まず出力してから修正する」需要の両方に対応できます。
Pareto DPO最適化：学習側では、Pareto DPO/PDPOのような選好最適化手法を用い、「同じ遅延なら品質が高く、同じ品質なら遅延が短い」読み書きアクションをより好む方策を学習させます。
増分自己回帰デコード：推論時、WRITEは目的語トークンを自己回帰的に生成し、READはより多くの原文コンテキストを読み込みます。目的語のプレフィックスは「翻訳済み内容」と「後続の制約」の両方を担い、原文プレフィックスの意味が十分になってから出力を開始することで、文の途中での誤訳を減らします。
ASRとのカスケード接続：T3PO本体はテキスト間の同時通訳に特化しています。前段にR2T2のようなappend-only ASRを接続すると、認識側が安定したテキストを出力するたびに、翻訳側が直ちにREAD/WRITEを実行します。

リポジトリにアクセス：GitHubリポジトリ https://github.com/netease-youdao/Confucius4-T3PO にアクセスします。
環境を準備：READMEに従って分離したPython/CUDA環境を構築し、依存関係をインストールします。
重みをダウンロード：Hugging FaceまたはModelScopeからConfucius4-T3POと対応するバックエンドモデルを取得します。
クイック検証：公式サンプルまたはWeb UIを実行し、READ/WRITEによるストリーミング訳文を出力できることを確認します。
音声認識を接続：R2T2 WebSocketを起動し、安定した増分テキストをT3POの原文入力として渡します。
遅延レベルを調整：品質と遅延の要件に応じて、読み書き方策やchunk/待機関連パラメータを調整します。
堅牢性をテスト：言い直し、数字、固有名詞、中国語と英語の混在、長文の区切りを重点的にテストします。
本番環境にデプロイ：ストリーミングサービスとしてラップし、初回トークン遅延、撤回や停止、GPUメモリ使用量、同時実行数を監視します。

低遅延のストリーミング出力：文全体の終了を待たず、原文を受信しながら訳文を出力するため、人間の同時通訳に近いテンポを実現します。
品質と遅延のトレードオフ：パレートの考え方により、「より速く」と「より正確に」の間を要件に応じて調整できます。
適応型の読み書き判断：コンテキストが不足している場合は待機し、十分になってから翻訳を開始することで、文途中の誤訳や手戻りを減らします。
実際の口語への適応：言い直し、決算報告の数字、中国語と英語の混在、口語表現などに安定して対応し、実用的な同時通訳体験に近づけます。
音声認識との接続が容易：R2T2と連携することで、話しながら聞き、翻訳する音声同時通訳チェーンを直接構築できます。

GitHubリポジトリ：https://github.com/netease-youdao/Confucius4-T3PO
Hugging Faceモデルリポジトリ：https://huggingface.co/netease-youdao/Confucius4-T3PO

国際会議・発表会：中英字幕をリアルタイムに生成し、異なる言語を使う参加者が訳文を見ながら話を聞けるようにします。
決算説明会・投資調査ロードショー：数字、単位、固有名詞の正確さを優先し、ストリーミング翻訳の誤りによる投資判断の誤りを防ぎます。
越境カスタマーサービス・コールセンター：オペレーターと顧客に低遅延の音声翻訳を提供し、コンプライアンス要件を満たすためのオンプレミス導入にも対応します。
オンライン教育・授業同時通訳：教師の授業を学生の言語にリアルタイムで翻訳し、用語集と組み合わせて授業内の固有名詞の正確性を高めます。
展示会・旅行・対面での異言語交流：騒音、移動、ネットワークが不安定な環境でも携帯型字幕やイヤホン同時通訳を提供し、即時のコミュニケーションを支援します。