Ming-3.0 운영 중

Ming-3.0은 Ant Ling이 오픈소스로 공개한 음성 모델 시리즈로, 음성 합성, 오디오 이해 및 대화, 음성 인식의 세 가지 작업을 중심으로 다섯 가지 모델을 제공합니다. Ming-3.0-tts 시리즈는 ”감독 모드”를 지원하여 감정, 속도, 강세를 정밀하게 제어합니다. Ming-3.0-audio 시리즈는 긴 녹음을 엔드투엔드로 이해하고 구조화된 결과를 출력할 수 있습니다. Ming-3.0-asr 시리즈는 핫워드 주입과 방언 인식을 지원합니다. 모델은 이미 Ant 내부의 여러 업무에 적용되었으며 온라인 체험과 API 서비스를 제공합니다.

Voice Design 음색 디자인: 텍스트 설명이나 참조 오디오를 사용해 원하는 음색을 맞춤 설정합니다.
감독 모드: 명령을 통해 음성의 감정 변화, 강세 위치, 속도 처리를 정밀하게 제어합니다.
인라인 부언어 태그: 텍스트에 웃음, 한숨 등의 태그를 삽입해 인물의 상태를 더욱 생생하게 표현합니다.
장시간 오디오 엔드투엔드 이해: 긴 녹음을 직접 전사하고 요약하며, 합의점과 이견을 추출하고 감정과 화자 정보를 보존합니다.
음성 추론 및 도구 호출: 녹음 내용에 대한 이해를 바탕으로 추론하고 외부 도구를 호출하여 완전한 음성 작업을 지원합니다.
Context ASR 핫워드 주입: 인식 시 핫워드 목록과 대화의 이전 내용을 전달하여 억양, 지명, 전문 용어를 정확하게 인식합니다.
모델 조합 워크플로: TTS, Audio, ASR의 세 가지 기능을 자유롭게 조합하여 개발자의 업무 흐름에 연결할 수 있습니다.

WeChat에서 “오픈소스”를 팔로우하고 답장하여 AI 오픈소스 프로젝트交流群에 참여하세요.
Audio 시리즈: 장시간 오디오 이해 아키텍처. Ming-3.0-audio-flash는 입력 단계에서 6.25 Hz의 낮은 프레임 레이트 오디오 표현을 사용해 동일한 녹음에 대응하는 시퀀스 길이를 압축합니다. 언어 백본은 Ling-3.0을 기반으로 하며, KDA와 Gated MLA 혼합 어텐션을 결합해 장거리 의존성을 포착하는 동시에 계산량을 제어합니다. 여기에 희소 MoE 아키텍처를 추가해 추론 부담을 더욱 줄임으로써 긴 녹음에 대한 연속 질문과 빠른 응답을 지원하며, 음성, 오디오 이벤트, 환경음 등의 세밀한 음향 정보를 보존합니다.
TTS 시리즈: 조건 제어 음성 생성. Ming-3.0-tts는 0.5B의 소규모 파라미터로 높은 자연스러움의 합성을 구현합니다. 핵심 방식은 감독 지시와 음색 설명/참조 오디오를 조건 입력으로 사용하고 합성 텍스트와 함께 음향 생성을 제어하는 것으로, 텍스트 설명을 통해 섬세한 연기 표현을 구현할 수 있습니다.
TTS 부언어 태그: 명시적 음향 이벤트 제어. 텍스트에 [Laughter]와 같은 인라인 태그를 삽입해 부언어 이벤트의 위치를 모델에 명시적으로 전달하고, 웃음, 한숨, 기침 등의 표현을 정확하게 삽입하도록 제어합니다.
ASR 시리즈: 말뭉치 엔지니어링 + 컨텍스트 주입. Ming-3.0-asr-tiny는 표준 중국어, 영어, 방언, 분야별 핫워드를 포괄하는 고품질 말뭉치를 구축하고 데이터 분포를 합리적으로 제어합니다. 동시에 언어 모델 기반의 컨텍스트 이해 능력을 활용해 후보 핫워드 목록과 대화의 이전 내용을 조건 정보로 인식 과정에 주입하고, 동음이의어와 생소한 이름의 판단을 지원합니다. 특정 시나리오를 위한 추가 학습은 필요하지 않습니다.

온라인 체험: https://ling.tbox.cn에 접속한 후 Ling Studio Chat에서 Ming-3.0-audio-flash를 선택하고 오디오를 업로드하면 오디오 이해 및 대화 기능을 체험할 수 있습니다.
API 연동: Ling Studio를 통해 tts-0.5B, audio-flash, asr-tiny 세 모델이 제공하는 API 서비스를 호출하여 음성 인식과 음성 생성을 자체 업무 워크플로에 연결할 수 있습니다.
로컬 배포: Hugging Face에서 모델 가중치를 다운로드한 후 로컬 환경에서 로드하여 실행합니다.
워크플로에 조합: TTS, Audio, ASR의 기능을 필요에 따라 연결하여 ”음성 입력→이해 및 분석→음성 안내”와 같은 완전한 순환 구조를 구현합니다.

세 가지 작업을 모두 지원: 음성 합성, 오디오 이해, 음성 인식의 세 제품군과 다섯 가지 모델을 제공하여 개발자가 필요에 따라 선택하거나 조합해 워크플로에 연결할 수 있습니다.
업계 최초의 감독 모드: 텍스트 명령만으로 감정, 강세, 속도를 정밀하게 제어하여 기존 TTS로 구현하기 어려웠던 연기 수준의 음성 생성을 실현합니다.
0.5B 소규모 파라미터로 SOTA 달성: 발음 강건성 93.2%로 전체 순위 공동 1위, Controlled Voice 1069 Elo로 오픈 가중치 모델 중 1위를 기록했으며, 배포 비용은 동급 대형 모델보다 훨씬 낮습니다.
장시간 오디오 엔드투엔드 이해: 감정, 화자 신원, 환경음 등의 정보를 직접 보존하여 회의 및 인터뷰 기록을 한 번에 정리합니다.
효율적인 장시간 오디오 추론: 6.25Hz 저프레임 레이트 표현 + KDA/Gated MLA 혼합 어텐션 + 희소 MoE를 통해 장시간 녹음 이해와 상호작용의 계산 부담을 크게 줄입니다.
학습 없이 핫워드 및 컨텍스트 주입: ASR 인식 시 핫워드 목록과 대화의 이전 내용을 직접 전달할 수 있어 방언, 지명, 전문 용어를 추가 학습 없이 인식합니다.

HuggingFace 모델库: https://huggingface.co/collections/inclusionAI/ming-30

회의 및 인터뷰 기록 정리: audio-flash로 긴 녹음을 직접 처리하고 ”합의된 방안, 결정이 필요한 문제, 각 측의 근거”를 자동으로 추출하여 업무 기록으로 구조화합니다. 사람이 전체 전사문을 일일이 확인하는 시간을 줄일 수 있습니다.
오디오 콘텐츠 및 캐릭터 더빙: 콘텐츠 팀은 TTS의 Voice Design과 감독 모드를 사용해 캐릭터 설정에 맞는 감정, 속도, 스타일의 음성을 생성하고, 웃음과 한숨을 삽입하여 캐릭터를 더욱 생생하게 표현할 수 있습니다.
고객 서비스 및 업무 음성 전사: asr-tiny에 제품명, 지명 등의 업계 핫워드와 대화 컨텍스트를 주입하여 방언 억양이 있는 고객 음성을 정확하게 인식합니다. 고객 서비스 기록, Alipay 검색, 보안 본인 인증 등의 시나리오에 적합합니다.
제품 음성 비서: TTS와 ASR을 조합해 음성 입력→의미 이해→음성 안내의 두 단계를 연결합니다. 예를 들어 아푸 APP의 주 대화 및 음성 통화, 의사 음색 복제 비서 등에 활용할 수 있습니다.