MAI-Transcribe-2 운영 중

MAI-Transcribe-2는 Microsoft가 출시한 최고 성능의 AI 음성-텍스트 변환 모델로, 정확도·속도·비용 모든 측면에서 앞서갑니다. 60개 언어를 지원하며 FLEURS 테스트 세트에서 평균 단어 오류율은 5.2%에 불과합니다. 화자 분리와 단어 단위 타임스탬프 기능이 새롭게 추가되었으며, 말실수를 보존하는 verbatim과 필러 단어를 삭제하는 clean 두 가지 변환 스타일을 제공합니다. 자동 언어 인식과 언어 전환도 지원합니다.

다국어 음성 변환: 60개 언어를 지원하며 녹음 언어를 자동으로 감지하므로 사전에 언어를 지정할 필요가 없습니다.
화자 분리: 하나의 녹음에서 서로 다른 발화자를 구분하고 변환된 텍스트를 해당 화자에게 연결합니다.
단어 단위 타임스탬프: 각 단어에 정확한 시간 위치를 표시하여 자막 정렬, 오디오 검색 및 편집을 지원합니다.
변환 스타일 설정: verbatim 모드는 말버릇과 말실수를 보존하고, clean 모드는 필러 단어를 삭제해 읽기 쉬운 텍스트를 생성합니다.
자동 언어 인식 및 전환: 여러 언어가 자연스럽게 섞인 대화를 지원하며 언어 전환을 자동으로 감지하고 대응합니다.
키워드 편향: 분야별 용어 목록을 미리 설정하여 특정 어휘의 인식 정확도를 높일 수 있습니다.
소음 환경 변환: 배경 소음이 있는 환경에서도 높은 정확도를 유지하며 음성을 변환합니다.

엔드투엔드 통합 아키텍처: 단일 신경망을 사용해 음향 특징을 텍스트 시퀀스로 직접 매핑합니다. 음성 인식, 화자 분리, 언어 감지 등의 작업을 하나의 모델에 통합하여 기존 계단식 시스템의 오류 누적을 방지하고 속도와 정확도를 동시에 최적화합니다.
다국어 공동 학습: 60개 언어의 방대한 음성-텍스트 데이터를 기반으로 공동 학습하여 언어 간 공유되는 음향 표현과 언어 규칙을 학습합니다. 이를 통해 주요 언어뿐 아니라 리소스가 적은 언어에서도 높은 정확도를 유지하며, 자연스러운 언어 전환을 실시간으로 감지할 수 있습니다.
문맥 인식 디코딩: 디코딩 과정에서 현재 음향 프레임만으로 예측하지 않고 전역 문맥 의미와 외부 키워드 편향을 함께 활용해 추론합니다. 출력 단어의 확률 분포를 동적으로 조정하여 전문 용어 인식 정확도를 높이고 verbatim과 clean 두 스타일의 제어 가능한 생성을 지원합니다.

Azure 리소스 생성: Azure 포털에서 AI Speech 서비스 리소스를 생성하고 API 키와 리전 엔드포인트 주소를 발급받습니다.
Foundry 프리뷰 연결: Microsoft Foundry 공개 프리뷰入口 https://ai.azure.com/catalog/models/MAI-Transcribe-2를 통해 모델 호출 화면으로 이동합니다.
모델 매개변수 설정: API 요청에서 model: "MAI-Transcribe-2"를 지정하고 필요에 따라 화자 분리와 단어 단위 타임스탬프 기능을 활성화합니다.
오디오 업로드 및 변환: WAV/MP3/MP4 등의 오디오 파일을 제출하면 모델이 언어를 자동으로 감지하고 변환을 수행합니다.
구조화된 결과 수신: 전체 텍스트, 단어 단위 타임스탬프, 화자 태그 및 자동 감지된 언어 코드를 포함한 JSON을 반환받습니다.

세계 최고 수준의 정확도: FLEURS 60개 언어에서 평균 단어 오류율이 5.2%에 불과하며, 중국어는 4.5%까지 낮습니다. Gemini 3.1 Pro와 Whisper v3-Large보다 전반적으로 우수합니다.
업계 최고 속도: 실시간 대비 403.6배의 처리 속도로 1시간 분량의 오디오를 약 9초 만에 처리하며, GPT-Transcribe보다 10배 빠릅니다.
업계 최저 비용: 한시적으로 시간당 0.10달러에 제공되며, 이전 세대보다 약 72% 저렴합니다.
기능 기본 통합: 화자 분리, 단어 단위 타임스탬프, 자동 언어 인식 및 전환, verbatim/clean 이중 스타일 변환을 기본 제공하므로 별도의 후처리가 필요하지 않습니다.
다국어의 원활한 지원: 60개 언어를 지원하며 여러 언어가 자연스럽게 섞인 대화를 자동으로 감지하고 대응하므로 사전에 언어를 지정할 필요가 없습니다.

콜센터 품질 관리 및 분석: 화자 분리로 상담원과 고객을 구분하고 단어 단위 타임스탬프를 활용해 발화 비율을 측정하며 주요 moment를 정확하게 찾을 수 있습니다.
회의 및 인터뷰 지능형 기록: 여러 사람이 참여한 녹음을 화자 태그가 포함된 구조화된 텍스트로 변환하고, 실행 항목과 의사 결정의 출처를 자동으로 연결합니다.
음성 에이전트 실시간 받아쓰기: 저지연 청각 입력 계층으로 활용하고 MAI-Voice-2 Flash와 결합하여 음성 간 실시간 대화 루프를 구현합니다.
미디어 자막 및 현지화: 단어 단위 타임스탬프로 자막 정렬 비용을 크게 줄이며, 60개 언어 지원으로 글로벌 콘텐츠 제작을 지원합니다.
컴플라이언스·법률·규제 증빙: 화자 정보와 타임스탬프가 포함된 정확한 기록을 생성하여 금융, 의료 등 업계의 감사 및 증거 확보 요건을 충족합니다.