과학기술 매체 TestingCatalog가 8월 2일 게시한 글에 따르면, 마이크로소프트는 첫 네이티브 실시간 음성 모델 MAI Realtime을 테스트하고 있다. 이 모델은 16개 언어와 2가지 음성을 지원하며, 대화 중 듣기와 말하기를 동시에 수행하고 자동 언어 인식 및 대화 중 언어 전환을 지원한다.
테스트와 관련해 마이크로소프트가 일부 파트너를 초대해 MAI Playground 플랫폼에서 이 모델을 테스트하고 있는 것으로 전해졌다. 현재 Microsoft Foundry에 언제 출시되고 Copilot 음성 기능으로 확대될지는 알려지지 않았다.
작동 방식과 관련해 MAI Realtime은 양방향 전이중 상호작용 방식을 채택해 “사용자가 말을 끝내면 모델이 답하는” 엄격한 순차 교대 없이 동시 청취와 응답을 지원한다.
지원 언어와 관련해 MAI Realtime 모델은 중국어를 포함한 16개 언어를 지원한다. IT之家는 게시글을 인용해 지원 언어를 다음과 같이 소개했다.
영어
독일어
스페인어
프랑스어
이탈리아어
포르투갈어
일본어
한국어
중국어
네덜란드어
힌디어
인도네시아어
아랍어
러시아어
튀르키예어
베트남어
태국어
음성 스타일과 관련해 이 모델은 Victoria와 Grant라는 두 가지 음성을 테스트용으로 제공하며, 현재 Copilot의 음성 모드보다 자연스럽다는 설명이다. 사용자는 언어를 직접 지정하거나 자동 감지 기능을 활성화할 수 있다.
이 모델은 노래를 부르거나 음성이 아닌 효과음을 생성하는 기능은 지원하지 않으며, 여전히 대화 시스템을 목표로 한다. 디버깅 패널에는 실시간 지연 시간, 모델의 사고 내용과 처리 단계가 표시되며, 샘플 공유 기능은 테스트 권한이 확대된 후 플랫폼 사용자에게 개방될 가능성이 있다.
참고: 전이중 음성(Full-duplex voice)은 시스템이 같은 시간에 사용자의 음성을 수신하면서 답변을 출력할 수 있어 어느 한쪽이 말을 완전히 끝낼 때까지 기다릴 필요가 없는 기능을 의미한다. 음성 시작, 멈춤, 종료를 인식하려면 발화 종단 감지가 필요하며, 사용자가 끼어들 때 출력도 조정해야 한다.
마이크로소프트가 앞서 발표한 MAI 음성 모델은 모두 단방향 모델이었다. 음성 합성에 사용되는 MAI-Voice-2 및 Flash 버전과 음성 인식에 사용되는 MAI-Transcribe-1.5가 이에 해당한다.