IndexTTS-2.5 運営中

IndexTTS-2.5は、Bilibiliがオープンソースで公開する産業級のゼロショット音声クローンモデルです。パラメータ数はわずか0.8Bで、中国語、英語、日本語、スペイン語、アラビア語の5言語間のクロスリンガル転移に対応しています。モデルは推論アーキテクチャを再構築し、推論速度を2.28倍に向上。0.5xから2.0xまでの速度調整に加え、発音や感情などのきめ細かな制御にも対応しています。完全なコード、モデルの重み、論文はすべて公開されており、Bilibili Model Licenseに基づいて提供されています。

ゼロショット音声クローン：3〜10秒の参照音声が1つあれば、任意の話者の声質を正確に再現できます。対象話者向けの追加学習は必要ありません。
5言語のクロスリンガル対応：中国語、英語、日本語、スペイン語、アラビア語の5言語に対応しています。
きめ細かな感情制御：独立した感情参照音声で感情を伝える、8次元の感情ベクトルで感情の強度を正確に指定する、テキスト駆動で感情を自動推定する、emo_alphaパラメータで感情の濃淡を調整するなど、複数の方法を提供します。
声質と感情の分離：声質用プロンプト音声と感情用プロンプト音声を完全に独立して指定できます。ユーザーは「誰が話すか」と「どのように話すか」を個別に制御できます。
無段階の速度調整：duration_factorパラメータにより、合成音声の速度を0.5倍から2.0倍まで任意に調整でき、さまざまな場面のテンポに対応します。
発音の正確な介入：中国語のピンイン、英語のCMU音素、日本語の仮名という3つの粒度で発音を制御できます。多音字、異読語、文脈依存の発音問題を効果的に解決します。

WeChatでフォローして「开源」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます
3段階の生成パイプライン：モデルは「テキスト → セマンティックToken → メルスペクトログラム → 波形」という3段階のアーキテクチャを採用しています。Transformerベースのテキスト・セマンティック（T2S）言語モデルでセマンティックTokenを生成し、非自己回帰型のセマンティック・メルスペクトログラム（S2M）フローマッチングモジュールでメルスペクトログラムを生成します。最後にニューラルボコーダーで最終音声へ復元します。
セマンティックコーデックによる圧縮：セマンティックTokenのフレームレートを50Hzから25Hzに圧縮し、シーケンス長を直接半分にすることで、学習時と推論時におけるT2Sモジュールの計算量とメモリ使用量を大幅に削減します。これは推論高速化の重要な要因の1つです。
Zipformerアーキテクチャへのアップグレード：S2MモジュールのバックボーンネットワークをU-DiTから、より効率的なZipformerアーキテクチャへ置き換えました。Zipformerは、より少ないパラメータ数で優れた長距離依存関係のモデリング能力を実現し、メルスペクトログラムの生成を高速かつ安定させながら、合成音質を維持します。
クロスリンガルモデリング戦略：多言語環境で文字の重複によって生じる混同問題に対し、チームは3つの戦略を提案しました。境界認識アライメント（テキストの前後に言語マーカーなどのを挿入）、Tokenレベルの連結（各入力Tokenに言語固有の埋め込みを融合）、命令誘導生成（テキストの前に「英語で読み上げてください」などの自然言語命令プレフィックスを追加）です。
GRPOによる強化学習最適化：T2Sモジュールの事後学習段階でGRPO（Group Relative Policy Optimization）を導入し、ASRモデルを固定したまま単語誤り率（WER）を報酬信号として使用します。毎回4つの候補サンプルを生成し、高報酬サンプルの相対尤度を最適化することで、発音の正確さと音声の自然さを継続的に向上させます。

環境の準備：まずGitとuvパッケージマネージャーをインストールし、git clone https://github.com/index-tts/index-tts.git を実行して公式コードリポジトリをローカルにダウンロードします。
依存関係のインストール：プロジェクトディレクトリに移動し、uv sync --all-extras コマンドを実行して、仮想環境を自動作成し、必要なPython依存関係をすべてインストールします。
モデルのダウンロード：huggingface-cliまたはmodelscopeツールを使用し、公式リポジトリIndexTeam/IndexTTS-2.5からモデルの重みをローカルのcheckpointsディレクトリにダウンロードします。
Webインターフェースの起動：uv run webui.py を実行してGradioインタラクティブインターフェースを起動し、ブラウザで http://127.0.0.1:7860 にアクセスして、視覚的に音声合成を操作します。
モデルの読み込み：Pythonスクリプトでindextts.infer_v2_5からIndexTTS2クラスをインポートし、設定ファイルのパスとモデルディレクトリを渡してモデルをインスタンス化します。
基本的な音声クローン：インスタンスのinferメソッドに参照音声のパス、対象テキスト、言語コードを渡すと、クローンした声質を持つ音声ファイルを生成・保存できます。
感情制御：inferメソッドにemo_audio_promptパラメータを追加して感情参照音声を指定するか、emo_vectorに8次元の感情ベクトルを渡して合成音声の感情表現を制御します。
速度調整：推論時にduration_factorパラメータへ0.5から2.0までの値を設定すると、合成音声の速度を比例して速くしたり遅くしたりできます。
発音への介入：入力テキストに<行|XING2>、または<上手|じょうず>などの注記を挿入し、多音字や異読語の発音を正確に制御します。

小規模パラメータで高効率：モデルのパラメータ数はわずか0.8B。セマンティックコーデックによる圧縮とZipformerアーキテクチャへのアップグレードにより、推論を2.28倍高速化し、BF16精度でリアルタイム係数（RTF）を0.20まで低減しています。軽量性と高性能を両立しています。
5言語のクロスリンガル転移：中国語、英語、日本語、スペイン語、アラビア語の5言語に対応しています。任意の言語の参照音声を使って別の言語の音声をクローンでき、対象言語の感情学習データなしで感情のクロスリンガル転移も実現できます。
多次元のきめ細かな制御：0.5xから2.0xまでの無段階速度調整、8次元の感情ベクトル制御、テキスト駆動の感情推定、ピンイン・CMU音素・日本語仮名という3つの粒度での発音介入に対応し、音声合成を細かく調整したいコンテンツ制作のニーズに応えます。
声質と感情を完全に分離：声質用プロンプト音声と感情用プロンプト音声を独立して指定できます。両者を異なる言語から選ぶこともでき、対象話者の声質を維持しながら、必要な感情スタイルを柔軟に付加できます。
アラビア語のオープンソース対応：主要なオープンソースTTSモデルの中でも、IndexTTS-2.5はアラビア語の音声クローンとクロスリンガル転移を完全にサポートする数少ないモデルの1つであり、オープンソース音声合成分野における同言語の空白を埋めています。

GitHubリポジトリ：https://github.com/index-tts/index-tts
arXiv技術論文：https://arxiv.org/pdf/2601.03888

AIナレーションと音声コンテンツ生成：コンテンツ制作者はナレーターやキャラクターの参照音声を1つ用意するだけで、多言語・多感情スタイルのオーディオブック、ラジオドラマ、ポッドキャストを迅速に生成できます。繰り返し録音する必要はありません。
多言語動画のローカライズ：映像・ショート動画チームは、中国語の参照音声から英語、日本語、スペイン語、アラビア語の吹き替えを直接生成できます。元の俳優の声質を維持しながら、海外展開のコストを大幅に削減できます。
ゲームとバーチャルキャラクターの音声：ゲーム開発者はNPCやバーチャルアイドルに特定の声質をクローンし、感情ベクトルで喜怒哀楽をリアルタイムに切り替え、動的なストーリー音声やライブ配信でのインタラクションを実現できます。
リアルタイム音声対話とデジタルヒューマン：0.20という超低リアルタイム係数により、IndexTTS-2.5はスマートカスタマーサービス、デジタルヒューマンのライブ配信、リアルタイム翻訳などに導入でき、低遅延のパーソナライズ音声応答をサポートします。
教育と言語学習：教育機関は発音制御機能を利用して、標準的なピンイン、CMU音素、日本語仮名の練習用音声を生成できます。また、教師の声質をクローンして、多言語の同期授業を制作することも可能です。