Ming-3.0 Đang hoạt động

Ming-3.0 là dòng mô hình giọng nói mã nguồn mở của Ant Group Ling, gồm năm mô hình phục vụ ba nhóm tác vụ: tổng hợp giọng nói, hiểu và đối thoại âm thanh, nhận dạng giọng nói. Dòng Ming-3.0-tts hỗ trợ “Chế độ đạo diễn” để điều khiển tinh tế cảm xúc, nhịp điệu và trọng âm; dòng Ming-3.0-audio có thể hiểu bản ghi âm dài theo phương thức đầu cuối và xuất kết quả có cấu trúc; dòng Ming-3.0-asr hỗ trợ chèn từ khóa nóng và nhận dạng phương ngữ. Các mô hình đã được ứng dụng trong nhiều nghiệp vụ nội bộ của Ant Group, đồng thời cung cấp trải nghiệm trực tuyến và dịch vụ API.

Voice Design - thiết kế âm sắc: Tùy chỉnh âm sắc mục tiêu bằng mô tả văn bản hoặc âm thanh tham chiếu.
Chế độ đạo diễn: Điều khiển tinh tế diễn biến cảm xúc, vị trí trọng âm và cách xử lý nhịp điệu của giọng nói bằng chỉ thị.
Thẻ ngữ điệu phi ngôn ngữ nội dòng: Chèn các thẻ như tiếng cười, tiếng thở dài vào văn bản để trạng thái nhân vật trở nên sống động hơn.
Hiểu âm thanh dài theo phương thức đầu cuối: Trực tiếp chuyển lời, tóm tắt, chắt lọc điểm đồng thuận và khác biệt từ bản ghi âm dài, đồng thời giữ lại cảm xúc và thông tin người nói.
Suy luận giọng nói và gọi công cụ: Suy luận dựa trên nội dung bản ghi âm và gọi các công cụ bên ngoài để hỗ trợ quy trình tác vụ giọng nói hoàn chỉnh.
Chèn từ khóa nóng Context ASR: Truyền danh sách từ khóa nóng và ngữ cảnh hội thoại trước đó khi nhận dạng để nhận diện chính xác giọng địa phương, địa danh và thuật ngữ chuyên ngành.
Quy trình kết hợp mô hình: Tự do kết hợp ba năng lực TTS, Audio và ASR để tích hợp vào quy trình nghiệp vụ riêng của nhà phát triển.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Dòng Audio: Kiến trúc hiểu âm thanh dài. Ming-3.0-audio-flash sử dụng biểu diễn âm thanh tốc độ khung hình thấp 6.25 Hz ở đầu vào, nén độ dài chuỗi tương ứng với cùng một bản ghi âm; phần nền ngôn ngữ dựa trên Ling-3.0, kết hợp cơ chế chú ý hỗn hợp KDA và Gated MLA để kiểm soát chi phí tính toán trong khi nắm bắt các phụ thuộc dài hạn. Sau đó, kiến trúc MoE thưa tiếp tục giảm tải suy luận, nhờ đó hỗ trợ đặt câu hỏi liên tục và phản hồi nhanh trên bản ghi âm dài, đồng thời giữ lại thông tin âm học chi tiết như giọng người, sự kiện âm thanh và âm thanh môi trường.
Dòng TTS: Tạo giọng nói có điều khiển điều kiện. Ming-3.0-tts đạt khả năng tổng hợp tự nhiên cao với quy mô nhỏ 0.5B tham số. Ý tưởng cốt lõi là sử dụng chỉ thị đạo diễn cùng mô tả âm sắc/âm thanh tham chiếu làm đầu vào điều kiện, kết hợp với văn bản tổng hợp để điều khiển quá trình tạo âm thanh, giúp mô hình thể hiện các sắc thái diễn xuất tinh tế thông qua mô tả bằng văn bản.
Thẻ ngữ điệu phi ngôn ngữ TTS: Điều khiển sự kiện âm học tường minh. Bằng cách chèn các thẻ nội dòng như [Laughter] vào văn bản, vị trí của sự kiện phi ngôn ngữ được thông báo rõ ràng cho mô hình, từ đó điều khiển chính xác việc chèn tiếng cười, tiếng thở dài, tiếng ho và các biểu đạt khác.
Dòng ASR: Kỹ thuật ngữ liệu + chèn ngữ cảnh. Ming-3.0-asr-tiny xây dựng ngữ liệu chất lượng cao bao phủ tiếng Quan thoại, tiếng Anh, phương ngữ và từ khóa nóng theo lĩnh vực, đồng thời kiểm soát hợp lý phân bố dữ liệu. Mô hình cũng tận dụng năng lực hiểu ngữ cảnh của nền tảng mô hình ngôn ngữ để đưa danh sách từ khóa nóng ứng viên và ngữ cảnh hội thoại trước đó vào quá trình nhận dạng dưới dạng thông tin điều kiện, hỗ trợ phân biệt từ đồng âm và tên ít gặp mà không cần huấn luyện bổ sung cho từng kịch bản cụ thể.

Trải nghiệm trực tuyến: Truy cập https://ling.tbox.cn, chọn Ming-3.0-audio-flash trong Ling Studio Chat, sau đó tải âm thanh lên để trải nghiệm khả năng hiểu và đối thoại âm thanh.
Tích hợp API: Gọi các dịch vụ API do ba mô hình tts-0.5B, audio-flash và asr-tiny cung cấp thông qua Ling Studio, đưa nhận dạng và tổng hợp giọng nói vào quy trình nghiệp vụ riêng.
Triển khai cục bộ: Tải trọng số mô hình từ Hugging Face, sau đó nạp và chạy trong môi trường cục bộ.
Kết hợp vào quy trình: Ghép nối các năng lực TTS, Audio và ASR theo nhu cầu để tạo vòng lặp hoàn chỉnh như “nhập giọng nói → phân tích và hiểu → phát giọng nói”.

Bao phủ đầy đủ ba nhóm tác vụ: Năm mô hình thuộc ba dòng sản phẩm tổng hợp giọng nói, hiểu âm thanh và nhận dạng giọng nói, cho phép nhà phát triển lựa chọn hoặc kết hợp để tích hợp vào quy trình theo nhu cầu.
Chế độ đạo diễn độc đáo trong ngành: Chỉ bằng chỉ thị văn bản, có thể điều khiển tinh tế cảm xúc, trọng âm và nhịp điệu, tạo ra giọng nói mang tính diễn xuất mà TTS truyền thống khó đạt được.
Mô hình nhỏ 0.5B đạt SOTA: Độ bền vững khi phát âm 93.2%, đồng hạng 1 trên toàn bảng; Controlled Voice đạt 1069 Elo, hạng 1 trong nhóm trọng số mở; chi phí triển khai thấp hơn nhiều so với các mô hình lớn cùng cấp độ.
Hiểu âm thanh dài theo phương thức đầu cuối: Trực tiếp giữ lại cảm xúc, danh tính người nói, âm thanh môi trường và các thông tin khác, giúp hoàn tất biên bản cuộc họp hoặc phỏng vấn trong một bước.
Suy luận âm thanh dài hiệu quả: Biểu diễn tốc độ khung hình thấp 6.25Hz + chú ý hỗn hợp KDA/Gated MLA + MoE thưa, giảm đáng kể chi phí tính toán khi hiểu và tương tác với bản ghi âm dài.
Chèn từ khóa nóng và ngữ cảnh không cần huấn luyện: Khi nhận dạng ASR, có thể trực tiếp truyền danh sách từ khóa nóng và ngữ cảnh hội thoại trước đó; nhận dạng phương ngữ, địa danh và thuật ngữ chuyên ngành không cần huấn luyện bổ sung.

Kho mô hình HuggingFace: https://huggingface.co/collections/inclusionAI/ming-30

整理 biên bản cuộc họp và phỏng vấn: Dùng audio-flash để trực tiếp xử lý bản ghi âm dài, tự động chắt lọc “phương án đã đạt đồng thuận, vấn đề cần quyết định, lý do của các bên”, rồi xuất thành biên bản công việc có cấu trúc, tiết kiệm thời gian so với việc đọc thủ công bản chép lời.
Nội dung âm thanh và lồng tiếng nhân vật: Đội ngũ nội dung sử dụng Voice Design và Chế độ đạo diễn của TTS để tạo giọng nói phù hợp toàn diện với lời thoại về cảm xúc, nhịp điệu và phong cách theo thiết lập nhân vật; đồng thời có thể chèn tiếng cười, tiếng thở dài để nhân vật sống động hơn.
Chuyển giọng nói thành văn bản cho chăm sóc khách hàng và nghiệp vụ: asr-tiny chèn các từ khóa nóng theo ngành như tên sản phẩm, địa danh cùng ngữ cảnh hội thoại để nhận diện chính xác giọng nói của khách hàng có phương ngữ, phù hợp với các kịch bản như ghi chép chăm sóc khách hàng, tìm kiếm Alipay và xác minh danh tính an toàn.
Trợ lý giọng nói sản phẩm: Kết hợp TTS và ASR, kết nối hai khâu nhập giọng nói → hiểu ngữ nghĩa → phát giọng nói, chẳng hạn như hội thoại chính và cuộc gọi thoại của ứng dụng A Fu, hoặc trợ lý nhân bản âm sắc bác sĩ.