Qwen3.8-LiveTranslate 운영 중

Qwen3.8-LiveTranslate는 알리바바 통이 첸원에서 출시한 실시간 동시통역 대규모 모델로, Interleave 아키텍처를 기반으로 재구성되어 글자당 지연 시간을 2.8초에서 2.3초로 단축했으며 60개 언어를 지원합니다. 이 모델은 실시간 화자 분리 및 음색 복제, 원문과 번역문의 동일 프레임 동시 출력, 긴 컨텍스트 기반 중의성 해소라는 세 가지 핵심 기능을 갖추고 있습니다. 동영상/오디오 입력을 인식하고, 양언어 텍스트와 원래 음색을 유지한 번역 음성을 엔드투엔드로 출력하며, 국제 회의, 해외 라이브 방송, 동영상 현지화 등의 시나리오에 적합합니다. 현재 첸원 AI 플랫폼을 통해 API가 공개되어 있습니다.

실시간 동시통역: Interleave 아키텍처 기반의 오디오-텍스트 단일 스트림 처리로 글자당 지연 시간이 2.3초에 불과하며, 들으면서 바로 번역합니다.
화자 분리: 여러 사람이 번갈아 발언할 때 각 화자를 자동으로 구분하고, 화자별 음색을 복제해 번역 음성을 생성합니다.
양언어 동일 프레임 출력: 원문과 번역문을 동기화하여 같은 화면에 표시하므로 즉시 이해하고 원문을 대조할 수 있습니다.
긴 컨텍스트 기반 중의성 해소: 앞뒤 문맥을 함께 이해하여 인명, 전문 용어, 지시어를 더 정확하고 일관되게 번역합니다.
다국어 상호 번역: 60개 언어의 입력 인식과 29개 언어의 음성 출력을 지원합니다.
시각 정보 보조: 동영상/이미지 입력을 지원하며, 화면 내용을 활용해 번역의 중의성을 해소합니다.

Interleave 단일 스트림 아키텍처: Qwen3.8-LiveTranslate는 동시통역을 오디오와 텍스트가 교차하는 단일 스트림 형태로 재구성합니다. 이미 들은 오디오와 이미 출력한 번역문을 캐시하여 재사용하므로 매 문장을 처음부터 처리할 필요가 없습니다. 이를 통해 번역 품질을 높이는 동시에 글자당 지연 시간을 2.8초에서 2.3초로 줄였습니다.
Thinker–Talker 이중 모듈 설계: 모델은 Hybrid MoE 기반의 Thinker–Talker 구조를 사용합니다. Thinker는 동영상, 오디오, 원문, 번역문을 하나의 인과 시퀀스로 구성하고 시간 순서에 따라 교차 배치하여 이해와 번역을 엔드투엔드로 수행합니다. Talker는 번역문과 원본 오디오를 결합해 원래 화자의 음색을 유지한 번역 음성을 합성합니다.
실시간 화자 분리: 여러 사람이 번갈아 발언하는 상황에서 모델은 번역 전에 Diarization을 수행해 각 문장을 특정 화자에게 할당합니다. 이를 바탕으로 Talker가 해당 화자의 음색을 안정적으로 복제하도록 하여, 번역 음성만으로도 누가 말했는지 알 수 있게 합니다.
긴 컨텍스트 기반 중의성 해소: 모델은 과거 대화를 컨텍스트 모델링에 포함하고 이전 발화와의 연관성을 여러 턴에 걸쳐 반영합니다. 따라서 한 문장만으로 판단할 때 발생하는 고유명사, 인명, 지시어의 모호성을 줄이고, 긴 다자간 대화에서도 용어와 표현의 일관성을 유지합니다.
양언어 동기화 출력 메커니즘: 아키텍처상 원문과 번역문을 하나의 교차 시퀀스에서 정렬하여 생성하므로 동일 프레임 동시 출력을 자연스럽게 지원합니다. 이에 따라 양언어 자막, 콘텐츠 정리, 검색 등의 후속 애플리케이션에서 별도의 정렬 처리가 필요하지 않습니다.

웹사이트 https://omni.qwen.ai/live-translate 를 엽니다.
마이크 권한을 허용하고 원본 언어와 대상 언어를 선택합니다.
바로 말하기를 시작하면 실시간 양언어 자막을 확인하고 번역 음성을 들을 수 있습니다.
첸원 AI 플랫폼에 로그인하여 API Key를 발급받습니다.
https://www.qianwenai.com/models/qwen3.8-livetranslate-flash-realtime 모델의 실시간 인터페이스를 호출하고 오디오 스트림을 전달합니다.
반환된 양언어 텍스트와 번역 음성을 수신하면 됩니다.

낮은 지연 시간: Interleave 아키텍처를 통해 글자당 지연 시간을 2.8초에서 2.3초로 줄였으며, 이미 들은 오디오와 이미 출력한 번역문을 캐시하여 재사용하므로 더 빠르고 자연스럽게 번역합니다.
화자 분리 + 음색 복제: 여러 사람이 번갈아 발언할 때 화자를 정확히 구분하고 각자의 음색을 복제해 번역 음성을 생성하므로 대화 내용의 발화 주체를 명확히 파악할 수 있습니다.
양언어 동일 프레임 동시 출력: 원문과 번역문을 동기화하여 표시하므로 즉시 이해하면서 원문도 대조할 수 있으며, 자막, 콘텐츠 정리, 검색 등의 시나리오에 자연스럽게 적용됩니다.
긴 컨텍스트 기반 중의성 해소: 과거 문맥을 여러 턴에 걸쳐 연계하여 한 문장만으로 판단할 때 발생하는 모호성을 해결하고, 인명과 전문 용어를 일관되고 정확하게 번역합니다.
60개 언어의 폭넓은 지원: 60개 언어의 인식과 29개 언어의 음성 출력을 지원하여 다국어 실시간 커뮤니케이션 요구를 충족합니다.

국제 회의: 여러 사람이 발언할 때 화자를 자동으로 구분하고 음색을 복제해 실시간으로 번역하므로, 참석자들이 같은 언어로 대화하는 듯한 경험을 제공합니다.
해외 라이브 방송: 진행자에게 양언어 동기화 자막과 번역 음성을 제공하여 라이브 콘텐츠가 전 세계 시청자에게 원활하게 전달되도록 지원합니다.
동영상 현지화: 동영상을 입력하면 정렬된 양언어 자막과 더빙을 생성하여 영화, 드라마, 강의 콘텐츠의 번역 제작 과정을 크게 간소화합니다.
국제 전시회/박람회: 참가자 간 현장 커뮤니케이션에 낮은 지연 시간의 동시통역을 제공하여 전문 통역사 비용을 줄입니다.
해외 진출 기업의 고객 지원 및 교육: 해외 고객의 실시간 음성 상담과 다국어 직원 교육을 지원하여 글로벌 서비스 효율을 높입니다.