Hy-SimulMT 운영 중

Hy-SimulMT는 텐센트 혼위안이 오픈 소스로 공개한 동시통역 대규모 모델로, 중국어와 영어 음성을 음성으로 실시간 상호 통역하며 들으면서 번역하고 화자의 음색을 실시간으로 복제할 수 있습니다. Hy-SimulMT의 실제 응답 지연 시간은 약 3초로, 인간 통역사의 4–5초 수준보다 빠릅니다. RealSI 평가 세트에서 가장 낮은 지연 시간과 오픈 소스 최고 수준의 번역 품질을 달성했으며, 대부분의 상용 API를 능가하고 여러 분야의 실제 테스트에서 인간 동시통역 전문가보다 높은 품질을 보였습니다.

실시간 음성 동시통역: 화자의 오디오가 모델로 연속 입력되면 모델이 들으면서 번역하고 말하면서 번역문을 출력하여, 중국어와 영어 간 양방향 음성 대 음성 실시간 상호 통역을 구현합니다.
실시간 음색 복제: 번역 음성은 화자 본인의 음색과 말투를 유지할 수 있으며, 여러 사람이 대화하는 상황에서도 서로 다른 화자의 목소리를 구분하고 재현할 수 있습니다.
텍스트+음성 이중 출력: 모델은 번역 텍스트를 출력하며, Interleave 버전에서는 원문도 동시에 출력할 수 있습니다. 번역 음성은 연동된 TTS 서비스를 통해 출력할 수 있습니다.
낮은 지연 시간: 실제 동시통역 지연 시간은 약 3초로, 인간 전문 통역사의 4.5–4.7초 수준보다 빠릅니다.

WeChat에서 팔로우 후 “开源”라고 답장하여 AI 오픈 소스 프로젝트交流群에 참여하세요
스트리밍 동시통역 디코딩: 점진적 이해와 “먼저 말하고 나중에 보완하기”. 동시통역의 핵심 과제는 “정보를 더 많이 확보해 정확하게 번역하기”와 “더 일찍 말해 듣기 좋은 경험 제공하기” 사이의 균형입니다. Hy-SimulMT는 화자가 말을 끝낼 때까지 기다리지 않고 연속 오디오 스트림을 수신하면서 점진적으로 이해합니다. 소량의 음성 정보만 축적되면 번역문 생성을 시작하고, 이후 정보가 들어온 뒤 앞선 출력이 불완전하거나 잘못된 것을 발견하면 인간 통역사가 스스로 수정하듯 번역문을 보완합니다.
대규모 희소 MoE 번역 백본: 오픈 소스 모델은 Hy-SimulMT-30B-A3B로, 총 30B개의 매개변수와 매번 약 3B개의 활성화 매개변수를 사용하는 혼합 전문가(MoE) 아키텍처입니다. 혼위안 HYV3ForCausalLM 모델 제품군을 기반으로 하며, vLLM을 주요 추론 백엔드로 사용합니다. 희소 활성화 설계를 통해 대규모 모델의 번역 품질을 유지하면서도 추론 비용은 소형 모델에 가깝게 낮춰, 속도에 민감한 실시간 동시통역 온라인 환경에 적합합니다.
음색 복제는 독립적인 TTS 구성 요소로 수행: 모델 본체는 스트리밍 음성 인식과 동시통역을 담당하고 텍스트를 출력합니다(순수 번역문과 원문+번역문 두 가지 출력 모드 지원). 음성 합성과 입력 음색 복제는 구성 가능한 TTS 서비스가 담당합니다. 이러한 모듈식 설계는 번역 품질과 음색의 자연스러움을 각각 최적화하고 타사 TTS를 편리하게 연동할 수 있게 합니다. 다만 계단식 처리 과정에서 ASR 인식 오류가 후속 단계로 전파될 수 있으므로 번역 모델의 견고성으로 이를 흡수해야 합니다.

저장소 복제: git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT.git을 실행한 후 프로젝트 디렉터리로 이동합니다.
추론 서비스 원클릭 배포: SimulInfer/ 디렉터리로 이동하여 bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave를 실행합니다.
TTS 구성(선택 사항): 음성 출력과 음색 복제가 필요하면 config.toml에서 TTS 서비스 연결을 구성합니다. 텍스트만 번역할 경우 이 단계는 필요하지 않습니다.
사용 시작: 터미널에 Ready: http://127.0.0.1:8080/이 표시될 때까지 기다린 후 브라우저에서 해당 주소를 열고, 번역 방향을 선택한 다음 오디오 파일을 업로드하거나 마이크를 켜고 말합니다. 「Stop and finish」를 클릭하면 종료됩니다.
명령줄 호출: curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F file=@audio.wav를 사용해 파일을 업로드하거나, 저장소에 포함된 simulinfer-client 클라이언트로 번역 결과를 가져올 수 있습니다.

업계 최고 수준의 낮은 지연 시간: 실제 StreamLAAL은 약 3초로 인간 전문 통역사보다 빠르며, 비교 시스템 중 지연 시간이 가장 낮은 오픈 소스 동시통역 모델입니다.
품질과 속도를 모두 달성: RealSI 장시간 오디오 평가에서 “최저 지연 시간 + 최고 품질”을 달성했으며, GEMBA 점수가 모든 비교 대상 오픈 소스 모델과 5개 상용 API 중 4개를 넘어섰습니다.
인간 전문가 수준 달성: CATTI 1급/2급 자격을 보유한 6명의 동시통역 전문가와 진행한 블라인드 테스트에서 번역 품질 점수가 더 높고 응답 속도도 더 빨랐습니다.
실시간 음색 복제: 번역 음성이 화자의 음색과 말투를 높은 수준으로 재현하며, 여러 사람이 참여하는 상황에서도 서로 다른 화자를 구분해 더욱 자연스럽게 소통할 수 있습니다.

GitHub 저장소：https://github.com/Tencent-Hunyuan/Hy-SimulMT
HuggingFace 모델 저장소：https://huggingface.co/collections/tencent/hy-simulmt

국제 회의 및 포럼: 대규모 국제 행사에서 자원봉사자와 현장 서비스 인력을 위한 공식 AI 번역 애플리케이션으로 지정되어 외빈 접대와 현장 소통에 활용됩니다.
다국어 비즈니스 협상 및 회의: 다국적 기업 회의에서 중국어와 영어를 실시간으로 상호 통역하여, 참석자들이 각자의 모국어로 말하고 들을 수 있게 하고 소통 비용을 줄입니다.
연설 및 교육의 동시통역: 학술 강연, 기업 내부 교육, 공개 강좌 등 한 사람이 장시간 발언하는 상황에서 모델이 안정적으로 따라 통역하고 자연스러운 번역문을 제공하여 “이해 보조” 도구로 적합합니다.
다화자 인터뷰 및 미디어 콘텐츠: 인터뷰, 팟캐스트, 다큐멘터리 등 여러 사람이 대화하는 상황에서 각 화자의 음색을 동시에 복제하여, 청자가 누가 말하는지 구분할 수 있습니다.
해외 방문객 대상 관광 및 일상 서비스: 공항, 호텔, 전시회, 레스토랑 등 외국인 대상 서비스 창구의 위험도가 낮은 소통 상황에서 서비스 직원과 외국인 관광객이 기본적인 대면 대화를 나눌 수 있도록 지원합니다.