T3PO 운영 중

T3PO는 넷이즈 유다오가 오픈 소스로 공개한 스트리밍 동시통역 번역 모델로, 정식 명칭은 “simulTaneous Translation via pareTo Policy Optimization”입니다. T3PO는 말하는 동시에 번역하는 것을 목표로 하며, 문맥이 충분한지 동적으로 판단해 충분하면 즉시 번역을 시작하고, 부족하면 잠시 더 기다리며 파레토 관점에서 품질과 지연 시간을 균형 있게 조정합니다. T3PO를 R2T2 뒤에 연결하면 말하고, 듣고, 번역하는 흐름을 구성할 수 있으며, 화자의 말바꿈, 재무 보고서 숫자, 영어 구어 표현 필터링 등의 상황에 맞게 최적화되어 있습니다.

스트리밍 동시통역: 원문이 계속 입력될 때 문장이 끝날 때까지 기다리지 않고 수신과 동시에 번역문을 생성합니다.
읽기·쓰기 결정: 문맥이 충분하면 WRITE로 번역문을 출력하고, 부족하면 READ로 계속 기다리며 “빠름”과 “정확함” 사이의 균형을 능동적으로 조정합니다.
품질·지연 시간 조정: 파레토 관점을 통해 번역 품질과 지연 시간을 পৃথ도로 최적화하며, 동일한 전략을 낮은 지연 시간 또는 높은 충실도에 맞출 수 있습니다.
음성 동시통역 폐쇄 루프: R2T2를 연결한 뒤 이미 “되돌릴 수 없게 확정된” 증분 인식 텍스트를 원문으로 사용해 “말하면서 듣고 번역하는” 흐름을 구성합니다.
실제 구어 상황 대응: 화자의 말바꿈, 재무 보고서 숫자, 영어 구어 표현 등의 상황을 대상으로 사람의 동시통역에 가까운 처리 전략을 적용합니다.

WeChat에서 “开源”를 검색해 답장하면 AI 오픈 소스 프로젝트交流群에 참여할 수 있습니다.
작업 모델링: T3PO는 동시통역을 증분 의사 결정 과정으로 간주합니다. 모델은 매 단계에서 “지금까지 들은 원문 접두부 + 지금까지 생성한 번역문 접두부”를 관찰한 다음, 원문을 계속 기다리는 READ를 수행할지 다음 목표 단어를 생성하는 WRITE를 수행할지 결정하며, 출력이 끝날 때까지 이를 반복합니다.
품질과 지연 시간의 분리: 번역 품질과 응답 지연 시간을 각각 측정하고 파레토 전선에서 작동 지점을 선택합니다. 하나의 모델로 “조금 느려도 정확해야 하는” 요구와 “먼저 초안을 내고 나중에 수정하는” 요구를 모두 처리할 수 있습니다.
Pareto DPO 최적화: 학습 단계에서는 Pareto DPO/PDPO와 같은 선호 최적화 방법을 사용해, “동일한 지연 시간에서 더 높은 품질” 또는 “동일한 품질에서 더 짧은 지연 시간”을 제공하는 읽기·쓰기 동작을 선호하도록 정책을 학습합니다.
증분 자기회귀 디코딩: 추론 시 WRITE는 목표 토큰을 자기회귀 방식으로 생성하고, READ는 더 많은 원문 문맥을 소비합니다. 목표 접두부는 “이미 번역된 내용”과 “후속 제약 조건”의 역할을 동시에 수행하며, 원문 접두부의 의미가 충분해진 뒤에야 출력을 시작해 문장 중간의 오역을 줄입니다.
ASR 연계: T3PO 자체는 텍스트 간 동시통역에 중점을 둡니다. 앞단에 R2T2와 같은 append-only ASR을 연결하면, 인식端에서 안정된 텍스트를 한 구간씩 출력할 때마다 번역端에서 즉시 READ/WRITE를 수행합니다.

저장소 접속: GitHub 저장소 https://github.com/netease-youdao/Confucius4-T3PO에 접속합니다.
환경 준비: README에 따라 격리된 Python/CUDA 환경을 구성하고 종속성을 설치합니다.
가중치 다운로드: Hugging Face 또는 ModelScope에서 Confucius4-T3PO와 해당 백엔드 모델을 가져옵니다.
빠른 검증: 공식 예제 또는 Web UI를 실행해 READ/WRITE 스트리밍 번역문이 출력되는지 확인합니다.
음성 인식 연결: R2T2 WebSocket을 시작하고 안정화된 증분 텍스트를 T3PO의 원문 입력으로 사용합니다.
지연 시간 설정: 품질·지연 시간 요구에 따라 읽기·쓰기 전략과 chunk/대기 관련 매개변수를 조정합니다.
견고성 테스트: 말바꿈, 숫자, 고유명사, 중·영 혼용 및 긴 문장의 구두점 처리를 중점적으로 테스트합니다.
배포: 스트리밍 서비스로 패키징하고 첫 글자 지연 시간, 철회·멈춤, GPU 메모리 및 동시성을 모니터링합니다.

낮은 지연 시간의 스트리밍 출력: 문장이 끝날 때까지 기다리지 않고 원문을 수신하면서 번역문을 생성해 사람의 동시통역 리듬에 가깝습니다.
품질·지연 시간의 균형: 파레토 관점에서 필요에 따라 “더 빠르게”와 “더 정확하게” 사이에서 선택할 수 있습니다.
적응형 읽기·쓰기 결정: 문맥이 부족하면 기다리고 충분하면 번역을 시작해 문장 중간의 오역과 반복 작업을 줄입니다.
실제 구어 대응: 말바꿈, 재무 보고서 숫자, 중·영 혼용, 구어 표현 등의 상황에서 더 안정적이며 실용적인 동시통역 경험에 가깝습니다.
간편한 음성 인식 연계: R2T2와 연결하면 말하고 듣고 번역하는 음성 동시통역 흐름을 바로 구성할 수 있습니다.

GitHub 저장소: https://github.com/netease-youdao/Confucius4-T3PO
HuggingFace 모델 저장소: https://huggingface.co/netease-youdao/Confucius4-T3PO

국제 회의 및 발표회: 중·영 자막을 실시간으로 생성해 여러 언어를 사용하는 참가자가 들으면서 번역문을 볼 수 있습니다.
재무 보고서 콘퍼런스콜 및 투자 리서치 로드쇼: 숫자, 단위, 고유명사의 정확성을 우선해 스트리밍 오역으로 인한 투자 판단 오류를 방지합니다.
크로스보더 고객 지원 및 콜센터: 상담원과 고객에게 낮은 지연 시간의 음성 번역을 제공하고, 규정 준수 요구를 충족하는 프라이빗 배포를 지원합니다.
온라인 교육 및 수업 동시통역: 교사의 강의를 학생의 언어로 실시간 번역하고, 용어집을 활용해 강의 고유명사의 정확도를 높입니다.
전시회·여행 및 오프라인 다국어 소통: 소음, 이동, 불안정한 네트워크 환경에서도 휴대용 자막 또는 이어폰 동시통역을 제공해 즉각적인 소통을 지원합니다.