Hy-SimulMT 運営中

Hy-SimulMTは、テンセント混元がオープンソースで公開する同時通訳大規模モデルです。中国語と英語の音声から音声へのリアルタイム相互翻訳に対応し、聞きながら翻訳し、話者の声色もリアルタイムで再現できます。Hy-SimulMTの実測応答遅延は約 3 秒で、人間の通訳者の 4～5 秒を上回ります。RealSI評価セットでは遅延が最も短く、翻訳品質もオープンソースモデル中で最高水準に達し、多くの商用 APIを上回っています。また、複数分野での実測において、人間の同時通訳専門家を超える品質を示しています。

リアルタイム音声同時通訳：話者の音声を連続的にモデルへ入力でき、モデルは聞きながら翻訳し、話しながら訳文を出力します。中国語と英語の双方向音声間リアルタイム相互翻訳を実現します。
リアルタイム声色クローン：翻訳音声に話者本人の声色や話し方を保持でき、複数人の会話では話者ごとの声を識別して再現できます。
テキストと音声の二重出力：翻訳テキストを出力でき、Interleave版では原文テキストも同時に出力できます。付属の TTSサービスを利用して翻訳音声を出力することも可能です。
低遅延応答：同時通訳の実測遅延は約 3 秒で、人間のプロ通訳者の 4.5～4.7 秒を上回ります。

WeChatで「开源」と返信して、AIオープンソースプロジェクト交流グループに参加
ストリーミング同時通訳デコード：インクリメンタル理解と「先に話し始め、後から修正」。同時通訳の核心的な課題は、「情報を多く待つほど翻訳精度が上がる」ことと「早く話し始めるほど聞きやすい」ことのバランスです。Hy-SimulMTは話者が話し終わるまで待たず、連続音声ストリームを受け取りながら段階的に理解します。少量の音声情報が蓄積されると訳文の生成を開始し、後続情報によって先の出力が不完全または誤りだと判明した場合は、人間の通訳者が自己修正するように訳文を補正します。
大規模スパース MoE翻訳バックボーン：オープンソースモデルは Hy-SimulMT-30B-A3Bです。総パラメータ数 30B、毎回約 3Bのパラメータをアクティベートする Mixture of Experts（MoE）アーキテクチャを採用し、混元 HYV3ForCausalLMモデルファミリーをベースに、主要な推論バックエンドとして vLLMを使用します。スパース活性化により、大規模モデルの翻訳品質を維持しながら推論コストを小規模モデルに近づけており、速度が重視されるリアルタイム同時通訳のオンライン環境に適しています。
声色クローンは独立した TTSコンポーネントで実行：モデル本体はストリーミング音声認識と同時通訳を担当し、テキストを出力します（純粋な訳文、または原文＋訳文の2つの出力モード）。音声合成と入力音声の声色クローンは、設定可能な TTSサービスが担います。このモジュール化設計により、翻訳品質と声色の自然さを個別に最適化でき、サードパーティ製 TTSの統合も容易です。一方、カスケード処理では ASRの認識誤りが下流へ伝播する可能性があるため、翻訳モデルの頑健性によって吸収する必要があります。

リポジトリをクローン：git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git を実行し、プロジェクトディレクトリへ移動します。
推論サービスをワンコマンドでデプロイ：SimulInfer/ ディレクトリに移動し、bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave を実行します。
TTSを設定（任意）：音声出力と声色クローンが必要な場合は、config.toml に TTSサービスの接続設定を記述します。テキストのみの翻訳では不要です。
利用開始：ターミナルに Ready: http://127.0.0.1:8080/ と表示されるまで待ち、ブラウザでこのアドレスを開きます。翻訳方向を選択して音声ファイルをアップロードするか、マイクをオンにして話し、「Stop and finish」をクリックして終了します。
コマンドラインからの呼び出し：curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F file=@audio.wav でファイルをアップロードできます。または、リポジトリ付属の simulinfer-client クライアントで翻訳結果を取得できます。

低遅延でリード：StreamLAALの実測値は約 3 秒で、人間のプロ通訳者より速く、比較対象の中で最も低遅延なオープンソース同時通訳モデルです。
品質と速度を両立：RealSI長時間音声評価で「最低遅延＋最高品質」を実現し、GEMBAスコアは比較対象の全オープンソースモデルと、5つの商用 APIのうち4つを上回ります。
人間の専門家レベルを達成：CATTI一級・二級資格を持つ6人の同時通訳専門家とのブラインドテスト比較で、翻訳品質スコアが高く、応答速度も速い結果となりました。
リアルタイム声色クローン：翻訳音声は話者の声色や話し方を高い精度で再現でき、複数人の場面でも話者を識別できるため、より自然なコミュニケーションを実現します。

GitHubリポジトリ：https://github.com/Tencent-Hunyuan/Hy-SimulMT
HuggingFaceモデルコレクション：https://huggingface.co/collections/tencent/hy-simulmt

国際会議・フォーラム：大規模な国際イベントで、ボランティアや現場サービス担当者向けの公式AI翻訳アプリとして指定され、外国来賓の接待や現場でのコミュニケーションに利用されます。
多言語ビジネス交渉・会議：企業の国際会議で中国語と英語をリアルタイムに相互翻訳し、参加者はそれぞれ母語で話し、聞くことができます。これによりコミュニケーションコストを削減します。
講演・研修の同時通訳：学術講演、社内研修、公開講座など、一人が長時間話す場面で安定した逐次翻訳を行い、自然な訳文を提供します。「理解を補助する」ツールとして適しています。
複数話者のインタビュー・メディアコンテンツ：インタビュー、ポッドキャスト、ドキュメンタリーなどの複数人による会話で、各話者の声色を同時にクローンし、聞き手が誰の発言かを識別できるようにします。
外国人対応の観光・日常サービス：空港、ホテル、展示会、レストランなど、外国人対応窓口での低リスクなコミュニケーションに利用し、サービス担当者と外国人旅行者の基本的な対面交流を支援します。