IndexTTS-2.5 Đang hoạt động

IndexTTS-2.5 là mô hình nhân bản giọng nói zero-shot cấp công nghiệp do Bilibili mã nguồn mở, chỉ có 0.8B tham số, hỗ trợ chuyển đổi liên ngôn ngữ giữa tiếng Trung, tiếng Anh, tiếng Nhật, tiếng Tây Ban Nha và tiếng Ả Rập. Mô hình tái cấu trúc kiến trúc suy luận, tăng tốc độ suy luận 2.28 lần, hỗ trợ điều chỉnh tốc độ nói từ 0.5x đến 2.0x cùng khả năng kiểm soát chi tiết về phát âm và cảm xúc. Toàn bộ mã nguồn, trọng số mô hình và bài báo đã được phát hành theo giấy phép Bilibili Model License.

Nhân bản giọng nói zero-shot: Chỉ cần một đoạn âm thanh tham chiếu dài 3 đến 10 giây là có thể tái tạo chính xác đặc điểm giọng của bất kỳ người nói nào mà không cần huấn luyện bổ sung cho người nói mục tiêu.
Hỗ trợ năm ngôn ngữ liên ngôn ngữ: Hỗ trợ tiếng Trung, tiếng Anh, tiếng Nhật, tiếng Tây Ban Nha và tiếng Ả Rập.
Kiểm soát cảm xúc chi tiết: Cung cấp nhiều cách điều chỉnh cảm xúc: truyền tải cảm xúc thông qua âm thanh tham chiếu cảm xúc độc lập, chỉ định chính xác cường độ cảm xúc bằng vector cảm xúc tám chiều, bật tính năng tự động suy luận cảm xúc dựa trên văn bản và điều chỉnh mức độ cảm xúc bằng tham số emo_alpha.
Tách biệt giọng và cảm xúc: Có thể chỉ định hoàn toàn độc lập âm thanh gợi ý giọng và âm thanh gợi ý cảm xúc. Người dùng có thể kiểm soát riêng “ai đang nói” và “nói như thế nào”.
Điều chỉnh tốc độ nói liên tục: Thông qua tham số duration_factor, có thể tùy ý điều chỉnh tốc độ tổng hợp trong khoảng từ 0.5 đến 2.0 lần, đáp ứng nhu cầu nhịp điệu của nhiều tình huống.
Can thiệp phát âm chính xác: Hỗ trợ kiểm soát phát âm ở ba mức độ gồm bính âm tiếng Trung, âm vị CMU tiếng Anh và kana tiếng Nhật, giúp xử lý hiệu quả các vấn đề về chữ đa âm, từ có cách đọc khác nhau và phát âm phụ thuộc ngữ cảnh.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Quy trình tạo ba giai đoạn: Mô hình sử dụng kiến trúc ba giai đoạn “văn bản → Token ngữ nghĩa → phổ Mel → dạng sóng”. Mô hình ngôn ngữ từ văn bản đến ngữ nghĩa (T2S) dựa trên Transformer tạo ra các Token ngữ nghĩa, sau đó mô-đun khớp dòng từ ngữ nghĩa đến phổ Mel (S2M) phi tự hồi quy tạo ra phổ Mel, cuối cùng bộ mã hóa âm thanh thần kinh khôi phục thành âm thanh hoàn chỉnh.
Nén bộ mã hóa và giải mã ngữ nghĩa: Giảm tốc độ khung của Token ngữ nghĩa từ 50Hz xuống 25Hz, giúp độ dài chuỗi giảm một nửa, qua đó giảm đáng kể lượng tính toán và bộ nhớ mà mô-đun T2S sử dụng trong quá trình huấn luyện và suy luận, là một trong những yếu tố then chốt giúp tăng tốc suy luận.
Nâng cấp kiến trúc Zipformer: Mạng xương sống của mô-đun S2M được thay thế từ U-DiT bằng kiến trúc Zipformer hiệu quả hơn. Zipformer đạt khả năng mô hình hóa phụ thuộc dài hạn mạnh hơn với ít tham số hơn, giúp tạo phổ Mel nhanh và ổn định hơn mà vẫn duy trì chất lượng âm thanh tổng hợp.
Chiến lược mô hình hóa đa ngôn ngữ: Để giải quyết vấn đề nhầm lẫn do ký tự trùng lặp trong bối cảnh đa ngôn ngữ, nhóm đã đề xuất ba chiến lược: căn chỉnh nhận biết ranh giới (chèn các thẻ ngôn ngữ vào trước và sau văn bản như ), ghép nối ở cấp Token (kết hợp embedding riêng của ngôn ngữ cho từng Token đầu vào) và tạo có hướng dẫn bằng chỉ thị (thêm tiền tố chỉ thị ngôn ngữ tự nhiên trước văn bản như “hãy đọc bằng tiếng Anh”).
Tối ưu hóa học tăng cường GRPO: Ở giai đoạn hậu huấn luyện của mô-đun T2S, GRPO (Group Relative Policy Optimization) được đưa vào, sử dụng tỷ lệ lỗi từ (WER) của mô hình ASR đóng băng làm tín hiệu thưởng. Mỗi lần tạo bốn mẫu ứng viên, thông qua tối ưu hóa khả năng tương đối của các mẫu có phần thưởng cao để liên tục nâng cao độ chính xác phát âm và độ tự nhiên của giọng nói.

Chuẩn bị môi trường: Trước tiên, người dùng cần cài đặt Git và trình quản lý gói uv, sau đó tải kho mã nguồn chính thức về máy bằng git clone https://github.com/index-tts/index-tts.git.
Cài đặt phụ thuộc: Sau khi vào thư mục dự án, thực thi lệnh uv sync --all-extras để tự động tạo môi trường ảo và cài đặt toàn bộ phụ thuộc Python cần thiết.
Tải mô hình: Sử dụng công cụ huggingface-cli hoặc modelscope để tải trọng số mô hình IndexTeam/IndexTTS-2.5 từ kho chính thức vào thư mục checkpoints trên máy.
Khởi động giao diện Web: Thực thi uv run webui.py để khởi động giao diện tương tác Gradio, sau đó truy cập http://127.0.0.1:7860 bằng trình duyệt để thực hiện tổng hợp giọng nói trực quan.
Nạp mô hình: Trong tập lệnh Python, import lớp IndexTTS2 từ indextts.infer_v2_5, sau đó truyền đường dẫn tệp cấu hình và thư mục mô hình để khởi tạo mô hình.
Nhân bản giọng nói cơ bản: Gọi phương thức infer của đối tượng, truyền đường dẫn âm thanh tham chiếu, văn bản mục tiêu và mã ngôn ngữ để tạo và lưu tệp giọng nói mang giọng đã nhân bản.
Kiểm soát cảm xúc: Trong phương thức infer, truyền thêm tham số emo_audio_prompt để chỉ định âm thanh tham chiếu cảm xúc hoặc dùng emo_vector để truyền vector cảm xúc tám chiều nhằm kiểm soát biểu hiện cảm xúc của giọng nói tổng hợp.
Điều chỉnh tốc độ nói: Khi suy luận, đặt tham số duration_factor thành một giá trị từ 0.5 đến 2.0 để tăng hoặc giảm tốc độ nói tổng hợp theo tỷ lệ tương ứng.
Can thiệp phát âm: Chèn các chú thích như <行|XING2>, hoặc <上手|じょうず> vào văn bản đầu vào để kiểm soát chính xác cách phát âm của chữ đa âm hoặc từ có cách đọc khác nhau.

Ít tham số, hiệu suất cao: Mô hình chỉ có 0.8B tham số. Nhờ nén bộ mã hóa và giải mã ngữ nghĩa cùng nâng cấp kiến trúc Zipformer, tốc độ suy luận tăng 2.28 lần, RTF trong thời gian thực ở độ chính xác BF16 thấp nhất là 0.20, cân bằng giữa tính nhẹ và hiệu suất cao.
Chuyển đổi liên ngôn ngữ giữa năm ngôn ngữ: Hỗ trợ tiếng Trung, tiếng Anh, tiếng Nhật, tiếng Tây Ban Nha và tiếng Ả Rập. Người dùng có thể sử dụng âm thanh tham chiếu bằng bất kỳ ngôn ngữ nào để nhân bản giọng nói của một ngôn ngữ khác, đồng thời thực hiện chuyển đổi cảm xúc liên ngôn ngữ mà không cần dữ liệu huấn luyện cảm xúc của ngôn ngữ mục tiêu.
Kiểm soát đa chiều chi tiết: Mô hình hỗ trợ điều chỉnh tốc độ nói liên tục từ 0.5x đến 2.0x, kiểm soát bằng vector cảm xúc tám chiều, suy luận cảm xúc dựa trên văn bản và can thiệp phát âm ở ba mức độ gồm bính âm, âm vị CMU và kana tiếng Nhật, đáp ứng nhu cầu điều chỉnh chi tiết khi tổng hợp giọng nói.
Tách biệt hoàn toàn giọng và cảm xúc: Người dùng có thể chỉ định độc lập âm thanh gợi ý giọng và âm thanh gợi ý cảm xúc. Hai loại âm thanh thậm chí có thể đến từ các ngôn ngữ khác nhau, cho phép linh hoạt đưa phong cách cảm xúc mong muốn vào trong khi vẫn giữ giọng của người nói mục tiêu.
Hỗ trợ mã nguồn mở tiếng Ả Rập: Trong số các mô hình TTS mã nguồn mở phổ biến, IndexTTS-2.5 là một trong số ít mô hình hỗ trợ đầy đủ nhân bản giọng nói tiếng Ả Rập và chuyển đổi liên ngôn ngữ, lấp đầy khoảng trống của ngôn ngữ này trong lĩnh vực tổng hợp giọng nói mã nguồn mở.

Kho GitHub：https://github.com/index-tts/index-tts
Bài báo kỹ thuật arXiv：https://arxiv.org/pdf/2601.03888

Lồng tiếng AI và tạo nội dung âm thanh: Người sáng tạo nội dung chỉ cần cung cấp một đoạn âm thanh tham chiếu của người dẫn chương trình hoặc nhân vật để nhanh chóng tạo sách nói, kịch phát thanh và podcast đa ngôn ngữ, đa phong cách cảm xúc mà không cần thu âm lại.
Bản địa hóa video đa ngôn ngữ: Các đội ngũ phim ảnh và video ngắn có thể dùng âm thanh tham chiếu tiếng Trung để trực tiếp tạo bản lồng tiếng tiếng Anh, tiếng Nhật, tiếng Tây Ban Nha hoặc tiếng Ả Rập, giữ nguyên giọng của diễn viên gốc và giảm đáng kể chi phí phát hành ở nước ngoài.
Giọng nói cho trò chơi và nhân vật ảo: Nhà phát triển trò chơi có thể nhân bản một giọng cụ thể cho NPC hoặc thần tượng ảo, chuyển đổi cảm xúc vui, giận, buồn, sợ theo thời gian thực bằng vector cảm xúc để tạo giọng thoại diễn biến động và tương tác livestream.
Tương tác giọng nói thời gian thực và người ảo: Với RTF cực thấp 0.20, IndexTTS-2.5 có thể được triển khai trong các kịch bản như chăm sóc khách hàng thông minh, livestream người ảo và dịch thuật thời gian thực, hỗ trợ phản hồi giọng nói cá nhân hóa với độ trễ thấp.
Giáo dục và học ngôn ngữ: Các tổ chức giáo dục có thể sử dụng chức năng kiểm soát phát âm để tạo âm thanh mẫu về bính âm chuẩn, âm vị CMU hoặc kana tiếng Nhật, đồng thời nhân bản giọng giáo viên để xây dựng khóa học đa ngôn ngữ đồng bộ.