Ming-3.0 運営中

Ming-3.0はアリババ百霊がオープンソースで公開する音声シリーズモデルで、音声合成、音声理解・対話、音声認識の3種類のタスクに対応する5つのモデルを提供します。Ming-3.0-ttsシリーズは「ディレクターモード」により感情、リズム、アクセントを細かく制御できます。Ming-3.0-audioシリーズは長時間録音をエンドツーエンドで理解し、構造化して出力できます。Ming-3.0-asrシリーズはホットワード注入と方言認識に対応します。モデルはアリババ社内の複数のサービスですでに利用されており、オンライン体験とAPIサービスを提供しています。

Voice Design（音色デザイン）：テキストによる説明や参照音声を使って、目標の音色をカスタマイズ。
ディレクターモード：指示によって、音声の感情変化、アクセントの位置、リズムを細かく制御。
インライン副言語タグ：テキストに笑い声やため息などのマーカーを挿入し、人物の状態をより生き生きと表現。
長時間音声のエンドツーエンド理解：長時間録音を直接文字起こしし、要約や合意点・相違点の抽出を行い、感情と話者情報を保持。
音声推論とツール呼び出し：録音内容の理解に基づいて推論し、外部ツールを呼び出すことで、完全な音声タスクを実現。
Context ASRホットワード注入：認識時にホットワードリストと対話履歴を渡し、訛り、地名、専門用語を正確に認識。
モデル組み合わせワークフロー：TTS、Audio、ASRの3つの機能を自由に組み合わせ、開発者独自の業務フローに統合。

WeChatで「オープンソース」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます。
Audioシリーズ：長時間音声理解アーキテクチャ。Ming-3.0-audio-flashは入力側で6.25 Hzの低フレームレート音声表現を採用し、同じ録音に対応する系列長を圧縮します。言語バックボーンにはLing-3.0を採用し、KDAとGated MLAの混合アテンションを組み合わせることで、長距離依存関係を捉えながら計算量を制御します。さらに疎なMoEアーキテクチャを重ねて推論負荷を軽減し、長時間録音への連続的な質問と高速な応答を実現しながら、人声、音声イベント、環境音などの細かな音響情報を保持します。
TTSシリーズ：条件制御による音声生成。Ming-3.0-ttsは0.5Bの小規模パラメータで高自然度の合成を実現します。中核となる考え方は、ディレクター指示と音色の説明・参照音声を条件入力として、合成テキストと組み合わせて音響生成を制御することです。これにより、テキストによる説明から繊細な演技表現を生成できます。
TTS副言語タグ：音響イベントの明示的制御。テキストに[Laughter]などのインラインタグを挿入し、副言語イベントの位置をモデルに明示することで、笑い声、ため息、咳などの表現を正確に挿入制御します。
ASRシリーズ：コーパスエンジニアリング＋コンテキスト注入。Ming-3.0-asr-tinyは、標準中国語、英語、方言、分野別ホットワードをカバーする高品質なコーパスを構築し、データ分布を適切に制御します。同時に、言語モデル基盤のコンテキスト理解能力を活用し、候補ホットワードリストと対話履歴を条件情報として認識プロセスに注入します。これにより同音語や珍しい名称の判別を補助し、特定のシーン向けの追加学習を必要としません。

オンライン体験：https://ling.tbox.cn にアクセスし、Ling Studio ChatでMing-3.0-audio-flashを選択します。音声をアップロードすると、音声理解と対話機能を体験できます。
API接続：Ling Studioを通じて、tts-0.5B、audio-flash、asr-tinyの3モデルが提供するAPIサービスを呼び出し、音声認識と音声生成を独自の業務ワークフローに統合できます。
ローカルデプロイ：Hugging Faceからモデルの重みをダウンロードし、ローカル環境で読み込んで実行します。
ワークフローへの組み込み：TTS、Audio、ASRの異なる機能を必要に応じて連結し、「音声入力→理解・分析→音声出力」の完全な一連の処理を実現します。

3大タスクを完全にカバー：音声合成、音声理解、音声認識の3つの製品ラインと5つのモデルを提供し、開発者は必要に応じて選択・組み合わせてワークフローに統合できます。
業界初のディレクターモード：テキスト指示だけで感情、アクセント、リズムを細かく制御し、従来のTTSでは難しかった演技品質の音声生成を実現。
0.5Bの小規模モデルでSOTAを実現：発音ロバスト性93.2%で全ランキング1位タイ、Controlled Voiceは1069 Eloでオープンウェイト部門1位。同等レベルの大規模モデルより大幅に低い導入コストを実現。
長時間音声のエンドツーエンド理解：感情、話者の身元、環境音などの情報を直接保持し、会議やインタビューの議事録を一度で作成。
長時間音声の効率的な推論：6.25Hzの低フレームレート表現＋KDA/Gated MLA混合アテンション＋疎なMoEにより、長時間録音の理解と対話に必要な計算負荷を大幅に軽減。
ホットワードとコンテキストを追加学習なしで注入：ASR認識時にホットワードリストと対話履歴を直接渡せるため、方言、地名、専門用語の認識に追加学習は不要。

Hugging Faceモデルコレクション：https://huggingface.co/collections/inclusionAI/ming-30

会議・インタビュー議事録の整理：audio-flashで長時間録音を直接処理し、「合意された方針、決定待ちの問題、各方面の理由」を自動抽出して業務議事録として構造化出力。逐語録を人手で確認する時間を削減できます。
音声コンテンツとキャラクターボイス：コンテンツチームはTTSのVoice Designとディレクターモードを使い、キャラクター設定に合った感情、リズム、スタイルの音声を台詞に合わせて生成できます。笑い声やため息を挿入し、キャラクターをより生き生きと表現することも可能です。
カスタマーサービス・業務音声の文字起こし：asr-tinyに製品名、地名などの業界ホットワードと対話コンテキストを注入し、方言なまりのある顧客音声も正確に認識。カスタマーサービス記録、Alipay検索、安全本人確認などのシーンに適しています。
製品向け音声アシスタント：TTSとASRを組み合わせ、音声入力→意味理解→音声出力の2つの工程を接続します。阿福APPのメイン対話・音声通話や、医師の音色をクローンしたアシスタントなどに利用できます。