テクノロジーメディアのTestingCatalogは8月2日、マイクロソフトが初のネイティブリアルタイム音声モデル「MAI Realtime」をテストしていると報じた。同モデルは16言語、2種類の音声に対応し、会話中に聞き取りと発話を並行して行えるほか、言語の自動認識や会話途中での言語切り替えにも対応する。
テストについては、マイクロソフトが一部のパートナーを招待し、MAI Playgroundプラットフォーム上で同モデルをテストしているという。Microsoft Foundryでの提供開始時期や、Copilotの音声機能への展開時期はまだ明らかになっていない。
動作面では、MAI Realtimeは双方向のフルデュプレックス方式を採用している。「ユーザーが話し終えてからモデルが答える」という厳密なターン交代を必要とせず、聞き取りと応答を同時に行える。
対応言語については、MAI Realtimeモデルは中国語など16言語に対応する。IT之家が記事を引用して紹介した対応言語は以下のとおり。
英語
ドイツ語
スペイン語
フランス語
イタリア語
ポルトガル語
日本語
韓国語
中国語
オランダ語
ヒンディー語
インドネシア語
アラビア語
ロシア語
トルコ語
ベトナム語
タイ語
音声スタイルについては、今回のテストでVictoriaとGrantの2種類の音声が提供され、現在のCopilotの音声モードよりも自然だという。ユーザーは言語を手動で指定できるほか、自動検出を有効にすることもできる。
同モデルは歌唱や音声以外の効果音の生成には対応せず、あくまで対話システムとして位置付けられている。デバッグパネルにはリアルタイムの遅延、モデルの思考内容、処理手順を表示できる。サンプル共有機能は、テスト対象者が拡大された後にプラットフォームユーザーへ開放される可能性がある。
注：フルデュプレックス音声（Full-duplex voice）とは、システムがユーザーの音声を受け取りながら同時に返答を出力でき、一方が完全に話し終わるのを待つ必要がない仕組みを指す。発話の開始、間、一時停止、終了をエンドポイント検出で認識し、ユーザーの割り込みに応じて出力を調整する必要もある。
マイクロソフトがこれまで発表したMAI音声モデルはいずれも単方向モデルで、音声合成用のMAI-Voice-2およびそのFlash版、音声認識用のMAI-Transcribe-1.5が含まれる。