Vidu S2 운영 중

Vidu S2는 생수과학기술이 출시한 실시간 비디오 모델로, 출시와 동시에 체험이 개방되었습니다. 두 가지 핵심 모델을 포함하며, S2-Editing은 비디오 스트림의 스타일, 의상, 캐릭터, 배경을 실시간으로 변경할 수 있고, 프레임 정렬 기술로 고속 동작에서도 화면 왜곡을 방지합니다. S2-Avatar는 720P, 25-42FPS로 실시간 상호작용을 구현하며, 언제든지 참고 이미지를 삽입하거나 의상을 변경할 수 있고, 전신 동작 추적을 지원합니다. StreamAV-Bench에서 9개 항목 최우수 성능을 기록했습니다. 독자적인 SRF 훈련으로 장시간 생성 시 발생하는 드리프트를 해결하고, VR을 위한 Spatial 공간 비디오도 선보입니다.

S2-Editing 실시간 편집: 재생 중인 비디오 스트림의 스타일 변경, 가상 피팅, 캐릭터 교체, 배경 변경을 실시간으로 수행할 수 있습니다. 텍스트 명령 한 줄과 선택 사항인 참고 이미지 한 장이면 됩니다.
S2-Avatar 실시간 상호작용: 720P, 25-42FPS의 고화질로 캐릭터를 실시간 생성하며, 언제든지 새로운 참고 요소를 삽입해 캐릭터가 이를 ”받아 들고” 상태 기억을 유지하도록 할 수 있습니다.
원클릭 실시간 의상 변경: 비디오 스트림을 중단하지 않고 이미지 한 장을 전송하면 캐릭터가 즉시 의상을 갈아입습니다. 동작은 자연스럽게 이어지고 감정 표현도 유지됩니다.
전신 동작 추적: 독무, 2D/3D 애니메이션 등의 명령에 따라 완전한 신체 연기를 구현하며, 기존 디지털 휴먼의 ”말하는 머리” 한계를 뛰어넘습니다.
Vidu S2-Spatial 공간 비디오: 단안 실시간 비디오를 좌우 눈에 동기화된 화면으로 변환하여 VR 등 몰입형 기기에 공간화된 실시간 경험을 제공합니다.

프레임 정렬 희소 어텐션: S2-Editing의 핵심 기반 기술입니다. 실시간 편집 시 새 화면의 각 프레임을 원본 비디오의 동일한 시점에 엄격히 고정하고 정렬하여, 의상이나 인물 변경 후에도 동작 궤적이 어긋나거나 화면이 찢어지는 현상을 방지하고 고속 동작 영상에서 실시간 이미지 변경의 안정성 문제를 해결합니다.
SRF(Self-Replay Forcing) 훈련 기술: 장시간 스트리밍 생성에서 발생하는 ”붕괴”와 ”드리프트”를 해결하기 위해 독자적으로 개발되었습니다. 모델이 자신이 생성한 기록을 직접 마주하고 오류를 스스로 수정하도록 하여, ”자기 교정 기억”을 부여하는 것과 같습니다. 이를 통해 계속 변화하는 장면에서도 안정적으로 ”연기”를 이어갈 수 있습니다.
동적 참고 메커니즘: S2-Avatar는 사용자가 비디오 생성 중 언제든지 새로운 참고 이미지를 추가할 수 있도록 합니다. 모델은 즉시 반응해 새 요소를 화면에 통합하는 동시에 상태 정보를 계속 유지하여, 전후 인과관계가 있는 자연스러운 상호작용을 구현합니다.
공간화 비디오 변환: 알고리즘을 통해 단안 실시간 비디오를 좌우 눈에 동기화된 화면으로 생성합니다. 단일 카메라 입력으로 양안 시차를 시뮬레이션하여 시간적 연속성과 공간 인식의 일관성을 동시에 유지하고, VR 실시간 경험을 위한 기반을 마련합니다.

웹 체험: https://vidu.com/vidu-stream에 접속하면 실시간으로 체험할 수 있습니다.
API 연동: 개발자는 platform.vidu.com/vidu-stream/doc에서 문서를 확인하고 S2 기능을 연동할 수 있습니다.
실시간 편집: 비디오 스트림 재생 중 텍스트 명령 한 줄을 입력하고 선택 사항인 참고 이미지 한 장을 업로드하면 스타일 변경, 의상 변경, 캐릭터 교체, 배경 변경을 수행할 수 있습니다.
실시간 상호작용: S2-Avatar와 대화하며 캐릭터의 연기를 유도하고, 언제든지 이미지를 업로드해 새로운 물품을 보여주거나 원클릭으로 의상을 변경할 수 있습니다.

진정한 실시간 처리: 720P, 25-42FPS 스트리밍 출력을 지원하며, 편집과 상호작용 모두 비디오 스트림을 중단하지 않습니다.
종합적인 편집 기능: 스타일, 의상, 캐릭터, 배경의 네 가지 실시간 편집 방향을 지원하여 전자상거래, 라이브 방송, 마케팅 등 주요 상업 시나리오를 아우릅니다.
동적 참고 및 상태 기억: 언제든지 새로운 요소를 삽입하고 캐릭터가 맥락을 ”기억”하도록 할 수 있어, 상호작용이 자연스럽고 생동감 있으며 ”말하는 머리” 디지털 휴먼의 한계를 뛰어넘습니다.
강력한 장시간 안정성: SRF 자기 교정 훈련으로 스트리밍 생성의 붕괴와 드리프트를 해결하여 캐릭터가 오랫동안 안정적으로 연기를 이어갈 수 있습니다.
선도적인 벤치마크 성능: S2-Avatar는 StreamAV-Bench 9개 항목에서 최우수 성능을 기록했으며, Editing은 명령 실행, 외관 재현, 동작 보존 등 핵심 지표에서 앞서 있습니다.
낮은 진입 장벽과 높은 수익성: 출시와 동시에 체험이 개방되며, 원본 영상 한 편으로 여러 스타일의 소재를 대량 제작할 수 있어 세트, 촬영 및 후반 작업 비용을 크게 절감합니다.

전자상거래 라이브 판매: 팬이 향수나 옷을 요청하면 캐릭터가 실시간으로 꺼내 보여주거나 원클릭으로 의상을 변경하여 실제 쇼핑 도우미와 같은 경험을 제공합니다.
가상 피팅: 소비자가 구매 전에 의상이 신체 동작에 맞게 착용된 모습을 직관적으로 확인할 수 있어 구매 결정 비용과 반품률을 낮춥니다.
IP 사업화: 브랜드 가상 아이돌이나 게임 주인공이 라이브 방송에 ”등장”해 실제 인물을 대신하여 상품을 판매하고, 팬의 몰입감을 극대화합니다.
해외 전자상거래/장면 마케팅: 배경을 원클릭으로 교체할 수 있습니다. 패딩을 판매할 때는 설산으로, 화장품을 판매할 때는 파리 패션쇼장으로 전환하여 세트 비용을 거의 없앨 수 있습니다.
소재 대량 제작: 실제 촬영 원본 한 편으로 사이버펑크, 수묵화, 애니메이션 등 다양한 스타일의 소재를 대량 생성하여 해외 숏폼 드라마, 게임 광고, 브랜드 프로모션을 지원합니다.