Ming-3.0 运营中

Ming-3.0是蚂蚁百灵开源的语音系列模型，围绕语音合成、音频理解与对话、语音识别三类任务推出五款模型。Ming-3.0-tts 系列支持”导演模式”精细控制情绪、节奏与重音；Ming-3.0-audio 系列可端到端理解长录音并结构化输出；Ming-3.0-asr 系列支持热词注入与方言识别。模型已应用于蚂蚁内部多个业务，提供在线体验与API服务。

Voice Design 音色设计：用文字描述或参考音频来定制目标音色。
导演模式：通过指令精细控制语音的情绪变化、重音位置和节奏处理。
行内副语言标签：在文本中插入笑声、叹息等标记，让人物状态更生动。
长音频端到端理解：直接对长录音转写、总结、提炼共识与分歧，保留情绪和说话人信息。
语音推理与工具调用：基于对录音的理解进行推理并调用外部工具，支撑完整语音任务。
Context ASR 热词注入：识别时传入热词列表和对话上文，准确识别口音、地名与专业术语。
模型组合工作流：TTS、Audio、ASR 三款能力可自由组合，接入开发者自己的业务流。

微信关注回复“开源”，加入AI开源项目交流群
Audio 系列：长音频理解架构，Ming-3.0-audio-flash 在输入端采用 6.25 Hz 低帧率音频表征，压缩同一段录音对应的序列长度；语言主干基于 Ling-3.0，结合 KDA 与 Gated MLA 混合注意力，在捕捉长程依赖的同时控制计算量，再叠加稀疏 MoE 架构进一步降低推理负担，从而支持对长录音的连续提问与快速响应，并保留人声、音频事件、环境音等精细声学信息。
TTS 系列：条件控制的语音生成，Ming-3.0-tts 以 0.5B 小参数规模实现高自然度合成，核心思路是将导演指令和音色描述/参考音频作为条件输入，与合成文本联合控制声学生成，使模型能通过文字描述呈现细腻的表演层次。
TTS 副语言标签：显式声学事件控制，通过在文本中插入 [Laughter] 等行内标签，将副语言事件的位置显式告知模型，实现对笑声、叹息、咳嗽等表达的精准插入控制。
ASR 系列：语料工程 + 上下文注入，Ming-3.0-asr-tiny 构建覆盖普通话、英文、方言、领域热词的高质量语料并合理控制数据分布，同时用语言模型基座的上下文理解能力，将候选热词列表与对话上文作为条件信息注入识别过程，辅助判断同音词和生僻名称，无需针对特定场景额外训练。

在线体验：访问 https://ling.tbox.cn，在 Ling Studio Chat 中选择 Ming-3.0-audio-flash，上传音频可体验音频理解与对话能力。
接入 API：通过 Ling Studio 调用 tts-0.5B、audio-flash、asr-tiny 三款模型开放的 API 服务，将语音识别与语音生成接入自己的业务工作流。
本地部署：从 Hugging Face 下载模型权重，在本地环境加载运行。
组合进工作流：将 TTS、Audio、ASR 不同能力按需拼接，实现如”语音输入→理解分析→语音播报”的完整闭环。

三大任务全覆盖：语音合成、音频理解、语音识别三条产品线五款模型，开发者可按需选择或组合接入工作流。
导演模式行业独创：用文字指令即可精细控制情绪、重音与节奏，实现传统 TTS 难以做到的表演级语音生成。
0.5B 小参数跑出 SOTA：发音鲁棒性 93.2% 并列全榜第 1，Controlled Voice 1069 Elo 开放权重第 1，部署成本远低于同水平大模型。
长音频端到端理解：直接保留情绪、说话人身份、环境音等信息，会议访谈纪要一步到位。
长音频推理高效：6.25Hz 低帧率表征 + KDA/Gated MLA 混合注意力 + 稀疏 MoE，显著降低长录音理解与交互的计算负担。
热词与上下文免训注入：ASR 识别时可直接传入热词列表和对话上文，方言、地名、专业术语识别无需额外训练。

HuggingFace模型库：https://huggingface.co/collections/inclusionAI/ming-30

会议与访谈纪要整理：用 audio-flash 直接处理长录音，自动提炼”已达成共识的方案、待拍板的问题、各方理由”，结构化输出为工作纪要，省去人工翻逐字稿的时间。
有声内容与角色配音：内容团队用 TTS 的 Voice Design 和导演模式，按角色设定生成情绪、节奏、风格全面契合台词的语音，还可插入笑声、叹息让角色更鲜活。
客服与业务语音转写：asr-tiny 注入产品名、地名等行业热词和对话上下文，准确识别带方言口音的客户语音，适用于客服记录、支付宝搜索、安全核身等场景。
产品语音助手：TTS 与 ASR 组合，连接语音输入→语义理解→语音播报两个环节，如阿福 APP 的主对话与语音通话、医生音色克隆助手。