AuK Đang hoạt động

AuK là mô hình nền tảng tạo và chỉnh sửa giọng nói 1,5 tỷ tham số do Tencent Hunyuan mã nguồn mở, sử dụng kiến trúc khuếch tán flow matching thay vì tự hồi quy. Mô hình có thể thực hiện 16 tác vụ giọng nói thông qua giao diện chỉ dẫn bằng ngôn ngữ tự nhiên thống nhất, bao gồm TTS zero-shot/instruct, chỉnh sửa nội dung giọng nói, điều chỉnh âm học, chỉnh sửa âm thanh phi ngôn ngữ, khử nhiễu và tách giọng người. Mô hình cung cấp phiên bản nhanh AuK-Flash với suy luận 4 bước, tốc độ tăng khoảng 4,5 lần.

TTS zero-shot: Dùng vài giây âm thanh tham chiếu để sao chép giọng và tổng hợp giọng nói mới.
TTS instruct: Chỉ cần mô tả đặc điểm giọng nói bằng văn bản để tạo giọng tương ứng, không cần âm thanh tham chiếu.
Chỉnh sửa nội dung giọng nói: Thay thế, chèn hoặc xóa văn bản trong bản ghi mà không thay đổi chất giọng và ngữ điệu.
Chỉnh sửa lời bài hát: Giữ nguyên giai điệu và đặc trưng giọng hát, chỉ viết lại lời bài hát.
Chỉnh sửa cao độ/tốc độ âm thanh/âm lượng: Điều chỉnh chính xác các thuộc tính âm học theo đơn vị nửa cung, tốc độ và decibel.
Chỉnh sửa cảm xúc và chất giọng: Thay đổi sắc thái cảm xúc mà không đổi lời, hoặc giữ nguyên nội dung và chuyển đổi chất giọng.
Chỉnh sửa giọng vùng miền và khử nhiễu: Loại bỏ giọng địa phương, khử nhiễu và vang để tăng độ rõ.
Chỉnh sửa sự kiện âm thanh phi ngôn ngữ: Thêm hoặc loại bỏ tiếng thở, tiếng cười và tiếng ho, chuyển đổi giữa giọng nói bình thường và thì thầm.
Tách giọng nói: Tách âm thanh nhiều người theo thứ tự nói, hoặc trích xuất người nói mục tiêu dựa trên mô tả nội dung.
Tách nhạc: Trích xuất giọng hát khỏi bài hát và loại bỏ phần nhạc đệm.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Mô hình tổng thể: AuK sử dụng kiến trúc khuếch tán flow matching để tạo biểu diễn không gian tiềm ẩn của âm thanh, đặc biệt phù hợp với các tác vụ “chỉnh sửa”. Biểu diễn tiềm ẩn của âm thanh gốc được dùng làm điểm bắt đầu khử nhiễu, chỉ thay đổi phần được yêu cầu trong chỉ dẫn, nhờ đó bảo toàn tốt hơn chất giọng, giai điệu và nội dung chưa chỉnh sửa. Đây là nền tảng kỹ thuật giúp mô hình bao phủ nhóm tác vụ chỉnh sửa.
Kiến trúc pipeline gồm ba thành phần: Hệ thống gồm ba phần: mô hình ngôn ngữ đa phương thức đọc chỉ dẫn bằng ngôn ngữ tự nhiên và âm thanh tham chiếu để tạo điều kiện ngữ nghĩa; audio VAE mã hóa dạng sóng 24kHz thành không gian tiềm ẩn âm học 50Hz; Transformer kết hợp cốt lõi gồm 10 lớp MMDiT hai luồng và 20 lớp DiT một luồng xếp chồng, với độ rộng mô hình 1536 và tổng cộng 1,5 tỷ tham số.
Huấn luyện căn chỉnh chỉ dẫn quy mô lớn: Dữ liệu huấn luyện gồm khoảng 3,03 tỷ cặp “chỉ dẫn—âm thanh”, tương đương khoảng 1,95 triệu giờ giám sát hiệu dụng. Điểm then chốt là mọi tác vụ đều được thống nhất dưới định dạng “chỉ dẫn + âm thanh đầu vào → âm thanh đầu ra”, giúp mô hình khái quát hóa 16 tác vụ thông qua một giao diện duy nhất.
Hậu huấn luyện và tối ưu theo sở thích con người: Sau huấn luyện cơ bản, mô hình trải qua tối ưu theo sở thích con người và hậu huấn luyện bằng học tăng cường (RL post-training), nâng cao độ tự nhiên, khả năng tuân thủ chỉ dẫn và chất lượng thính giác của giọng nói tạo ra.

Xác nhận môi trường phần cứng: Chuẩn bị GPU NVIDIA có khoảng 24GB VRAM, chẳng hạn RTX 3090/4090.
Sao chép kho mã: Sao chép kho Tencent-Hunyuan/AuK từ GitHub về máy cục bộ.
Cài đặt môi trường phụ thuộc: Thiết lập môi trường Python và cài đặt các gói phụ thuộc theo yêu cầu của kho mã.
Tải trọng số mô hình: Tải trọng số AuK và tệp VAE đi kèm từ Hugging Face hoặc ModelScope.
Tải mô hình điều kiện ngữ nghĩa: Tải và cấu hình riêng mô hình ngôn ngữ đa phương thức Qwen2.5-Omni-3B để phân tích chỉ dẫn và âm thanh tham chiếu.
Chuẩn bị tư liệu đầu vào: Chuẩn bị văn bản mục tiêu, âm thanh tham chiếu hoặc tệp âm thanh gốc cần chỉnh sửa.
Viết chỉ dẫn bằng ngôn ngữ tự nhiên: Soạn chỉ dẫn theo nhu cầu, chẳng hạn mô tả đặc điểm giọng nói, chỉ định câu cần thay thế hoặc điều chỉnh cao độ/tốc độ.
Chạy suy luận: Nhập chỉ dẫn và tư liệu qua dòng lệnh (CLI), thực hiện tạo hoặc chỉnh sửa rồi chờ kết quả.
Nghe thử và điều chỉnh: Kiểm tra âm thanh đầu ra; nếu chưa đạt, điều chỉnh cách diễn đạt chỉ dẫn, số bước lấy mẫu hoặc cường độ CFG rồi tạo lại.

Giao diện thống nhất, bao phủ toàn bộ tác vụ: Thông qua chỉ dẫn bằng ngôn ngữ tự nhiên, mô hình có thể thực hiện 16 tác vụ giọng nói như TTS, chỉnh sửa, nâng cao và tách âm thanh mà không cần triển khai mô hình riêng cho từng tác vụ.
Khả năng chỉnh sửa hiếm thấy trong ngành: Hỗ trợ chỉnh sửa chi tiết như thay từ, chèn câu, điều chỉnh cao độ và thay đổi cảm xúc, đồng thời bảo toàn tối đa chất giọng và ngữ điệu gốc.
TTS instruct không cần âm thanh tham chiếu: Có thể tạo giọng nói chỉ bằng mô tả đặc điểm giọng qua văn bản, giúp hạ thấp ngưỡng sử dụng.
Kiến trúc flow matching bảo toàn trung thực hơn: Sử dụng tạo sinh khuếch tán thay vì dự đoán từng token; khi chỉnh sửa, âm thanh gốc được dùng làm điểm bắt đầu khử nhiễu, nên các phần không thay đổi gần như không bị suy giảm.

Trang web dự án: https://auk-project.github.io/
Kho GitHub: https://github.com/Tencent-Hunyuan/AuK
Kho mô hình HuggingFace: https://huggingface.co/tencent/AuK
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2609.08936

Khôi phục lời thoại hậu kỳ phim và phim ngắn: Khi diễn viên nói nhầm hoặc kịch bản được điều chỉnh nhỏ, có thể thay thế trực tiếp từng từ, câu trong bản ghi mà không cần thu âm lại, đồng thời giữ nguyên cảm xúc diễn xuất.
Sản xuất podcast và phỏng vấn: Xóa lỗi nói và nội dung thừa, điều chỉnh tốc độ và nhịp điệu, loại bỏ tiếng ồn nền và vang để nhanh chóng biến tư liệu thô thành sản phẩm hoàn chỉnh.
Sách nói và sản xuất lồng tiếng AI: Dùng TTS instruct để tạo chất giọng khác biệt theo mô tả nhân vật; cùng một người dẫn chuyện vẫn có thể điều chỉnh cảm xúc và ngữ điệu ở hậu kỳ, giảm chi phí sản xuất nhiều nhân vật.
Sáng tác và biên tập lại âm nhạc: Viết lại lời bài hát cover mà vẫn giữ giai điệu và đặc trưng giọng hát gốc, hoặc trích xuất giọng hát từ bài hát làm tư liệu remix.
Đào tạo ngôn ngữ và ứng dụng hỗ trợ tiếp cận: Loại bỏ giọng địa phương, điều chỉnh tốc độ và âm lượng cho người dùng có giọng vùng miền hoặc khuyết tật ngôn ngữ, tạo nội dung giọng nói rõ ràng và dễ hiểu hơn.