Hy-SimulMT Đang hoạt động

Hy-SimulMT là mô hình lớn dịch đồng thời do Tencent Hunyuan mã nguồn mở, hỗ trợ dịch thời gian thực từ giọng nói tiếng Trung sang tiếng Anh và ngược lại, vừa nghe vừa dịch đồng thời sao chép giọng nói của người nói. Qua thử nghiệm thực tế, Hy-SimulMT có độ trễ phản hồi khoảng 3 giây, tốt hơn mức 4–5 giây của phiên dịch viên; trên bộ đánh giá RealSI, mô hình có độ trễ thấp nhất và chất lượng dịch đạt mức tốt nhất trong các mô hình mã nguồn mở, vượt qua phần lớn API thương mại, đồng thời chất lượng thực tế trong nhiều lĩnh vực còn vượt các chuyên gia phiên dịch đồng thời.

Phiên dịch giọng nói đồng thời theo thời gian thực: Âm thanh của người nói có thể liên tục truyền vào mô hình. Mô hình vừa nghe vừa dịch, vừa nói vừa xuất bản dịch, thực hiện dịch thời gian thực hai chiều Trung-Anh từ giọng nói sang giọng nói.
Sao chép giọng nói theo thời gian thực: Bản dịch đầu ra có thể giữ lại giọng và ngữ điệu của chính người nói. Trong các cuộc hội thoại nhiều người, mô hình có thể phân biệt và khôi phục giọng của từng người.
Đầu ra kép văn bản + giọng nói: Mô hình có thể xuất văn bản dịch (phiên bản Interleave còn có thể đồng thời xuất văn bản ngôn ngữ nguồn), đồng thời sử dụng dịch vụ TTS đi kèm để tạo giọng nói bản dịch.
Phản hồi độ trễ thấp: Độ trễ phiên dịch đồng thời thực tế khoảng 3 giây, nhanh hơn mức 4.5–4.7 giây của phiên dịch viên chuyên nghiệp.

Theo dõi WeChat và trả lời “开源” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Giải mã phiên dịch đồng thời dạng luồng: Hiểu gia tăng và “nói trước, sửa sau”. Mâu thuẫn cốt lõi của phiên dịch đồng thời là sự cân bằng giữa “có thêm thông tin thì dịch chính xác hơn” và “bắt đầu nói sớm để trải nghiệm nghe tốt hơn”. Hy-SimulMT không chờ người nói hoàn tất câu nói, mà thực hiện hiểu gia tăng trên luồng âm thanh liên tục, chỉ tích lũy một lượng nhỏ thông tin giọng nói đã bắt đầu tạo bản dịch; khi thông tin tiếp theo xuất hiện, nếu phát hiện nội dung đầu ra trước đó chưa đầy đủ hoặc có lỗi, mô hình sẽ sửa bản dịch giống như cách phiên dịch viên tự điều chỉnh.
Thân dịch MoE thưa quy mô lớn: Mô hình mã nguồn mở là Hy-SimulMT-30B-A3B, có tổng cộng 30B tham số và kích hoạt khoảng 3B tham số mỗi lần, sử dụng kiến trúc mixture-of-experts (MoE), dựa trên dòng mô hình Hunyuan HYV3ForCausalLM và sử dụng vLLM làm backend suy luận phổ biến. Thiết kế kích hoạt thưa giúp mô hình duy trì chất lượng dịch của mô hình lớn trong khi chi phí suy luận gần với mô hình nhỏ, phù hợp với các tình huống trực tuyến nhạy cảm về tốc độ như phiên dịch đồng thời.
Sao chép giọng nói do thành phần TTS độc lập đảm nhiệm: Bản thân mô hình chịu trách nhiệm nhận dạng giọng nói dạng luồng và dịch đồng thời, sau đó xuất văn bản (gồm hai chế độ: chỉ bản dịch hoặc văn bản nguồn + bản dịch). Việc tổng hợp giọng nói và sao chép giọng đầu vào do dịch vụ TTS có thể cấu hình đảm nhiệm. Thiết kế mô-đun này cho phép tối ưu riêng chất lượng dịch và độ tự nhiên của giọng nói, đồng thời thuận tiện tích hợp TTS bên thứ ba; nhược điểm là lỗi nhận dạng ASR trong chuỗi xử lý có thể truyền xuống các bước sau và cần được xử lý nhờ độ bền vững của mô hình dịch.

Sao chép kho mã: Chạy git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git rồi chuyển vào thư mục dự án.
Triển khai dịch vụ suy luận bằng một lệnh: Vào thư mục SimulInfer/ và chạy bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave.
Cấu hình TTS (tùy chọn): Nếu cần đầu ra giọng nói và sao chép giọng, hãy cấu hình kết nối dịch vụ TTS trong config.toml; dịch văn bản thuần không cần bước này.
Bắt đầu sử dụng: Chờ terminal hiển thị Ready: http://127.0.0.1:8080/, mở địa chỉ này trong trình duyệt, chọn hướng dịch rồi tải tệp âm thanh lên hoặc bật micro để nói, nhấp “Stop and finish” để kết thúc.
Gọi từ dòng lệnh: Có thể dùng curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F file=@audio.wav để tải tệp lên, hoặc sử dụng ứng dụng khách simulinfer-client đi kèm kho mã để nhận kết quả dịch.

Dẫn đầu về độ trễ thấp: StreamLAAL thực tế khoảng 3 giây, nhanh hơn phiên dịch viên chuyên nghiệp và là mô hình phiên dịch đồng thời mã nguồn mở có độ trễ thấp nhất trong các hệ thống được so sánh.
Cân bằng chất lượng và tốc độ: Trong đánh giá âm thanh dài RealSI, mô hình đạt “độ trễ thấp nhất + chất lượng cao nhất”, điểm GEMBA vượt toàn bộ mô hình mã nguồn mở được so sánh và 4 trong số 5 API thương mại.
Đạt trình độ chuyên gia: Trong thử nghiệm mù so sánh với 6 chuyên gia phiên dịch đồng thời có chứng chỉ CATTI cấp một/cấp hai, mô hình đạt điểm chất lượng dịch cao hơn và tốc độ phản hồi nhanh hơn.
Sao chép giọng nói theo thời gian thực: Giọng bản dịch có thể tái hiện cao giọng và ngữ điệu của người nói. Trong bối cảnh nhiều người, mô hình có thể phân biệt từng người nói, giúp giao tiếp tự nhiên hơn.

Kho GitHub: https://github.com/Tencent-Hunyuan/Hy-SimulMT
Kho mô hình HuggingFace: https://huggingface.co/collections/tencent/hy-simulmt

Hội nghị và diễn đàn quốc tế: Được một số sự kiện quốc tế quy mô lớn chỉ định làm ứng dụng dịch AI chính thức cho tình nguyện viên và nhân viên dịch vụ cơ sở, phục vụ đón tiếp khách quốc tế và giao tiếp tại chỗ.
Đàm phán và hội họp kinh doanh đa ngôn ngữ: Thực hiện dịch Trung-Anh theo thời gian thực trong các cuộc họp xuyên quốc gia của doanh nghiệp, giúp các bên phát biểu và lắng nghe bằng tiếng mẹ đẻ, giảm chi phí giao tiếp.
Phiên dịch đồng thời cho diễn thuyết và đào tạo: Trong các tình huống một người phát biểu trong thời gian dài như bài giảng học thuật, đào tạo nội bộ doanh nghiệp và lớp học công khai, mô hình có thể dịch bám ổn định với bản dịch tự nhiên, phù hợp làm công cụ “hỗ trợ hiểu”.
Phỏng vấn nhiều người nói và nội dung truyền thông: Trong các cuộc hội thoại nhiều người như phỏng vấn, podcast và phim tài liệu, mô hình đồng thời sao chép giọng của từng người nói, giúp người nghe phân biệt ai đang phát biểu.
Du lịch, văn hóa quốc tế và dịch vụ thường nhật: Trong các tình huống giao tiếp ít rủi ro tại quầy dịch vụ đối ngoại như sân bay, khách sạn, triển lãm và nhà hàng, hỗ trợ nhân viên dịch vụ giao tiếp trực tiếp ở mức cơ bản với khách du lịch nước ngoài.