SeedRealtime – 바이트댄스가 출시한 네이티브 음성·영상 전이중 대규모 모델 운영 중

SeedRealtime은 바이트댄스 Seed 팀이 출시한 네이티브 음성·영상 전이중 대규모 모델로, 통합 아키텍처를 기반으로 오디오, 비디오, 텍스트를 네이티브하게 융합해 보면서 듣고 말하는 전모달 실시간 상호작용을 구현합니다. 모델은 음성·영상 공동 이해, 능동적 상호작용, 원활한 대화 리듬이라는 세 가지 핵심 기술 혁신을 갖추고 있으며, 엔드투엔드 평가에서 대화 리듬 관련 문제가 연결형 모델보다 절반으로 줄었습니다. 현재 더우바오 앱에 전면 출시되어 업계 최초로 대규모 상용화된 음성·영상 전이중 AI 제품이 되었습니다.

음성·영상 공동 이해: 소리, 화면, 시간 정보를 네이티브하게 심층 융합합니다. 시각적 장면을 바탕으로 동음이의어의 모호성을 해소하고 시간적 지시를 정확히 이해해 보고, 듣고, 말하는 정보를 통합적으로 인식합니다.
능동적 상호작용: 지속적인 환경 인식과 능동적 표현 능력을 갖추고 있어 화면 상태가 변할 때 사용자에게 능동적으로 알립니다. 또한 도구를 호출해 표현에 통합함으로써 수동적인 응답을 능동적인 협업으로 발전시킵니다.
원활한 상호작용 리듬: 사용자의 대화 상태와 소통 리듬을 실시간으로 파악해 적절한 순간에 자연스럽게 대화에 참여하고, 멈추고, 응답합니다. 강력한 간섭 대응 능력을 갖추어 주변 사람의 잡담과 배경 소음을 구분할 수 있습니다.
다인 장면 인식: 여러 사람이 있고 소란스러운 환경에서 얼굴을 동시에 인식하고, 음원을 구분하며, 내용을 이해합니다. 각 사람의 목소리와 신원을 지속적으로 연결합니다.

엔드투엔드 통합 모델링: 엔드투엔드 음성·영상 통합 모델링 프레임워크를 채택해 인식, 이해, 의사결정, 표현을 하나의 모델에서 동시에 수행합니다. 이를 통해 연결형 시스템의 ASR→VLM→TTS 다단계 처리에서 발생하는 정보 손실과 지연 누적을 방지합니다.
네이티브 전이중 상호작용: 외부 VAD 규칙에 의존해 대화 순서를 판단하지 않습니다. 모델 자체가 멀티모달 정보 흐름을 바탕으로 대화 상태와 시점을 지속적으로 결정해, 일문일답의 반이중 모드가 아닌 진정한 ‘말하면서 듣기’를 구현합니다.
음성·영상 시간 정렬: 소리, 화면, 시간 정보를 통합 모델링하고 현재 장면, 제스처, 시선, 과거 동작을 결합해 사용자의 의도를 이해합니다. 이를 통해 모달리티 간 모호성을 해소하고 지시 대상을 분석합니다.
저지연 엔지니어링 최적화: 음성·영상 입력을 청크 단위로 처리하고 스트리밍 생성 방식을 적용합니다. 여기에 효율적인 양자화와 추론 최적화를 결합해 ‘듣기—이해—응답’의 엔드투엔드 지연 시간을 지속적으로 단축합니다.

더우바오 앱 업데이트: 더우바오 앱을 최신 버전으로 업데이트합니다.
음성 통화 시작: 앱을 연 후 임의의 대화창에서 ‘전화 걸기’ 버튼을 누릅니다.
영상 모드 전환: 통화 화면에 들어간 후 카메라와 마이크 권한을 허용하고 영상 통화로 전환합니다.
실시간 상호작용 시작: 화면을 보여 주면서 자연스럽게 말하면 모델이 음성·영상 스트림을 동시에 인식하고 실시간으로 응답합니다.
능동적 관찰 사용: 지속적인 관찰 명령을 내릴 수 있으며, 모델은 목표가 나타나거나 화면이 변할 때 능동적으로 알려 줍니다.

엔드투엔드 통합 아키텍처: 단일 모델에서 오디오, 비디오, 텍스트를 네이티브하게 융합해 연결형 시스템의 여러 모듈을 연쇄적으로 연결할 때 발생하는 정보 손실과 지연 누적을 제거합니다.
네이티브 전이중 상호작용: 외부 VAD 규칙에 의존하지 않고, 모델이 멀티모달 정보 흐름을 기반으로 대화 시점을 지속적으로 자율 판단합니다. 이를 통해 일문일답이 아닌 진정한 ‘말하면서 듣기’를 구현합니다.
음성·영상 공동 이해: 소리, 화면, 시간 정보를 심층 융합해 시각적 장면을 바탕으로 동음이의어의 모호성을 해소하고, ‘이것’, ‘저기’와 같은 모달리티 간 지시 대상을 정확히 분석합니다.
능동적 환경 인식: 지속적인 시각 관찰 능력을 갖추고 있어 화면 상태가 변하거나 목표가 나타날 때 능동적으로 알려 줍니다. 상호작용을 수동적 응답에서 능동적 협업으로 발전시킵니다.
원활한 간섭 대응 리듬: 사용자의 대화 상태를 실시간으로 파악하고, 소란스러운 환경에서 잡담과 공식적인 질문을 정확히 구분합니다. 끊김과 오작동이 연결형 모델보다 절반으로 줄었습니다.

프로젝트 공식 웹사이트: https://seed.bytedance.com/en/seedrealtime

스마트 가이드: 박물관에서 전시품 화면을 지속적으로 관찰하고, 목표가 나타나면 역사적 배경과 제작 기법을 능동적으로 설명합니다.
외국어 회화 연습: 화면을 바탕으로 실시간 발음을 교정하고 예문을 제시하며, 소란스러운 환경에서도 학습자에게 지속적으로 집중합니다.
장비 조작 안내: 복잡한 장비를 조작할 때 시각적 상태 변화를 기반으로 실시간 오류를 교정하고 조정 방법을 제안합니다.
이동 정보 도우미: 공항의 소란스러운 환경에서 대형 화면의 항공편 정보를 인식하고, 도착 시간을 알려 주며 경로를 안내합니다.
어린이 교육 지도: 아이와 함께 학습하면서 화면 내용을 실시간으로 관찰해 발음을 교정하고, 주변 사람의 목소리에 방해받지 않습니다.