R2T2 운영 중

R2T2는 넷이즈 유다오가 오픈 소스로 공개한 저지연 진정한 스트리밍 음성 인식 모델로, 정식 명칭은 Real Real-Time Transcription이며 Qwen3-ASR을 기반으로 구축되었습니다. R2T2는 append-only 메커니즘을 채택하여 화면에 표시된 텍스트를 수정하지 않으며, 80ms–2s의 조정 가능한 청크, 중국어·영어 최적화 및 핫워드 컨텍스트를 지원합니다. 평균 지연 시간은 약 200–600ms이며, vLLM, Transformers, llama.cpp/GGUF 등의 백엔드를 제공해 실시간 자막, 음성 Agent 및 동시통역 프런트엔드에 적합합니다.

진정한 스트리밍 인식: 80ms–2s 범위에서 조정 가능한 chunk 단위로 오디오를 지속적으로 입력하고 텍스트를 출력합니다.
한 번 확정된 출력은 수정하지 않음: 제출된 텍스트를 수정하지 않아 자막 깜박임과 Agent 동작 변경을 방지합니다.
저지연·고정확도: 공식 기준 평균 지연 시간은 약 200–600ms이며, 스트리밍 정확도는 오프라인 인식에 근접합니다.
핫워드/컨텍스트: 프롬프트, 도메인 용어, 고유명사 등의 사전 정보를 지원하여 희귀 단어 인식률을 높입니다.
다국어: 중국어·영어를 최적화했으며, 프랑스어·독일어·이탈리아어·일본어·한국어·러시아어·스페인어·아랍어 등의 다국어 기능도 유지합니다.
다중 백엔드 배포: vLLM, Transformers, llama.cpp/GGUF를 지원하며 WebSocket 서비스도 실행할 수 있습니다.

WeChat에서 팔로우 후 “开源”라고 답장하여 AI 오픈 소스 프로젝트交流群에 참여하세요.
모델 기반: R2T2는 Qwen3-ASR을 기반으로 하며, 오디오 인코딩 및 시퀀스 모델링 능력을 계승하고 스트리밍 출력을 위해 제약 학습을 적용합니다.
안정적인 접두사 학습: 학습 시 stable-prefix, 강제 시간 정렬, 토큰 단위 오디오 분할 등의 데이터 구성을 사용하여 모델이 “어떤 접두사가 충분히 안정되어 외부로 출력할 수 있는지” 판단하도록 학습합니다.
Commit/Wait 디코딩: 짧은 오디오 구간이 들어올 때마다 모델이 현재 안정적인 접두사를 먼저 평가합니다. 충분히 안정적이면 수정 불가 텍스트로 commit하고, 그렇지 않으면 더 많은 컨텍스트를 계속 캐시하며 wait합니다.
컨텍스트 조건부 생성: 안정적인 접두사만 후속 예측의 조건으로 사용하여 의미적 제약을 충분히 제공하면서도 이전 출력이 후속 오디오에 의해 뒤집히지 않도록 합니다.
지연 시간–정확도 조절: chunk 크기, 끝부분 길이/되돌리기 윈도우 등의 매개변수로 처리량, 지연 시간 및 오류 허용 범위를 제어합니다. 작은 chunk는 더 빠르지만 더 불안정하고, 큰 chunk는 더 안정적이지만 더 느립니다.

저장소 복제: git clone https://github.com/netease-youdao/Confucius4-R2T2.git.
격리 환경 생성: Conda 또는 uv로 Python 3.12 환경을 만들고 pip install -e .를 실행하거나, 공식 qwenllm/qwen3-asr Docker를 직접 사용합니다.
가중치 다운로드: 백엔드에 따라 HF/ModelScope의 Confucius4-R2T2 또는 Confucius4-R2T2-GGUF를 선택합니다.
오프라인/스트리밍 예제 실행: ./run_example.sh audio.wav --model_path ... --infer_mode stream_vllm --language Chinese --chunk_size_ms 160.
스트리밍 코드 작성: R2T2ASRModel.LLM을 로드하고 init_streaming_state()를 호출한 뒤, 16kHz chunk 단위로 streaming_transcribe()를 반복 호출하며 마지막에 finish_streaming_transcribe()를 호출합니다.
CPU/llama.cpp 배포: r2t2_llama의 stream_llama_hybrid 또는 stream_llama/onetime_llama 모드를 사용합니다.
실시간 서비스 실행: ./run_start_server.sh start --model_path ... --vad_model_path checkpoints/vad/Stream-VAD --port 8272 --gpu 0.
클라이언트 연결: ws://localhost:8272/asr_stream_api_v1로 16kHz mono int16 PCM을 전송하고, 종료 시 YOUDAO_ONETIME_ASR_STREAM_EOS를 전송합니다.
사용 경험 매개변수 조정: language, chunk_size_ms, context/hotword, unfixed_token_num을 사용해 지연 시간, 정확도 및 용어 인식률 사이의 균형을 조절합니다.

진정한 스트리밍 및 수정 불가 출력: 한 번 출력된 텍스트를 수정하지 않아 자막 깜박임과 Agent의 잘못된 실행을 방지합니다.
저지연: 공식 기준 평균 약 200–600ms로, 실시간 자막, 동시통역 및 음성 Agent에 적합합니다.
지연 시간/정확도 조절 가능: 80ms–2s 분할을 지원하여 상황에 따라 더 빠르거나 더 안정적인 모드로 전환할 수 있습니다.
강력한 오프라인 기능: 스트리밍 제약을 추가해도 오프라인 인식 정확도가 크게 저하되지 않아 하나의 모델로 두 유형의 작업을 모두 처리할 수 있습니다.
강력한 기반과 생태계: Qwen3-ASR을 기반으로 하며, 오픈 소스 공개 후 GGUF, llama.cpp, Core ML 및 오프라인 도구 연동이 빠르게 확산되었습니다.
엔지니어링 친화적: vLLM, Transformers, llama.cpp 백엔드와 WebSocket 서비스를 제공하여 프로덕션 환경에 쉽게 통합할 수 있습니다.
제어 가능한 입력 사전 정보: 컨텍스트/핫워드 프롬프트를 지원하여 인명, 제품명 및 전문 용어의 인식률을 높입니다.
다국어 지원: 중국어·영어를 최적화했으며, 다양한 다국어 스트리밍 인식 기능도 유지합니다.

공식 웹사이트: https://r2t2.ai/
GitHub 저장소: https://github.com/netease-youdao/Confucius4-R2T2
HuggingFace 모델 저장소: https://huggingface.co/netease-youdao/Confucius4-R2T2

실시간 회의 자막: 발언과 동시에 확정 자막을 출력하여 자막 수정으로 인한 읽기 방해를 줄입니다.
Voice Agent 명령 입력: “이체 금액을 300에서 3,000으로 변경해”와 같은 정정 발화를 안정적으로 인식하여 Agent의 잘못된 실행 위험을 낮춥니다.
차량용/스마트 기기 음성 상호작용: 저지연 조건에서 되돌릴 수 없는 명령 텍스트를 출력하여 내비게이션, 전화 및 차량 제어에 적합합니다.
콜센터 실시간 지원: 발화와 동시에 전사하고 상담원에게 안내를 전달하여 지연 시간, 전문 용어·핫워드 및 프라이빗 배포 규정 준수를 함께 고려할 수 있습니다.
수업/접근성 받아쓰기: 청각 장애인이나 필기 상황에 안정적인 실시간 전사를 제공하여 화면 깜박임과 사후 수정 비용을 줄입니다.