Orbis 운영 중

Orbis는 Visko가 선보이는 첫 번째 Live Model(실시간 세계 모델)로, AI 비디오가 라이브 방송처럼 지속적으로 작동하도록 합니다. 사용자는 언제든 새 지시를 입력해 화면의 전개를 실시간으로 바꿀 수 있으며, 완성본을 기다릴 필요가 없습니다. 모델은 4K@24FPS 실시간 스트리밍 생성을 지원하고, 다중 스케일 메모리 메커니즘으로 시간 단위의 장기 일관성을 유지합니다. 인과적 시간 분해와 물리 인식 보상을 기반으로 움직임을 실제처럼 자연스럽게 구현하며, 가상 라이브 방송, 인터랙티브 스토리, 로봇 시뮬레이션 등의 시나리오에 활용할 수 있습니다.

실시간 스트리밍 생성: 화면이 라이브 방송처럼 중단 없이 계속 출력되며, 4K@24FPS 실시간 제공을 지원합니다.
생성 중 상호작용: 사용자는 언제든 프롬프트를 추가하거나 수정할 수 있으며, 새 지시는 평균 1초 이내에 이후 화면에 적용됩니다.
멀티모달 입력: 텍스트-비디오, 이미지-비디오, 비디오 이어쓰기의 세 가지 방식으로 세계 생성을 시작할 수 있습니다.
장기 일관성: 다중 스케일 메모리 메커니즘을 통해 눈에 띄는 품질 저하 없이 시간 단위의 연속 생성을 유지할 수 있습니다.
물리적 사실성: 인과적 분해와 세계 모델 보상을 기반으로 객체의 움직임과 상호작용이 물리 법칙에 부합하도록 합니다.

인과적 시간 분해: 생성을 초기값 문제로 간주하여 각 chunk가 제출된 기록만 바탕으로 다음 시간 구간을 예측합니다. 물리적 진화의 마르코프 구조에 자연스럽게 부합하며, 양방향 디노이징에서 ‘미래의 노이즈가 현재의 결정에 영향을 주는’ 문제를 방지합니다.
제한된 다중 스케일 메모리: 최근 기록은 원래의 잠재 해상도로 유지하고, 오래된 기록은 점진적으로 압축합니다. 윈도우를 초과하는 정보는 고정 용량의 학습 상태로 Consolidate하여 메모리 및 연산 비용을 rollout 길이와 분리합니다.
점진적 학습 파이프라인: 양방향 모델로 단기 시각 선행 지식을 학습한 후 스트리밍 생성기로 증류합니다. 이벤트 정렬 장편 비디오 학습과 선별된 수작업 미세 조정을 거쳐, 마지막으로 자기 강제 분포 매칭과 GRPO 강화 학습을 통해 시각 및 물리 보상에 맞춥니다.
물리 인식 보상 정렬: 동결된 V-JEPA 2 잠재 세계 모델을 도입해 후보 프레임과 기록 상태의 예측 일관성을 평가하고, 실제 동역학에 부합하는 생성을 유도합니다. 시각 품질 보상과 함께 공동 최적화합니다.
스트리밍 추론 엔지니어링: 상태 재사용, 컴파일된 Transformer 실행, 다중 GPU 시퀀스 병렬화, 점진적 디코딩-초해상도-전송 파이프라인을 연계하여 4K 실시간 제공을 구현합니다.

세션 시작: Visko 공식 웹사이트의 Playground에 접속하거나 API를 호출한 뒤, 텍스트를 입력하고 이미지를 업로드하거나 비디오 프리픽스를 붙여 넣으면 실시간 세션을 시작할 수 있습니다.
실시간 생성 시작: Live 버튼을 클릭하면 스트리밍 생성이 시작되고, 화면이 라이브 방송처럼 계속 자동으로 전개됩니다.
화면 실시간 개입: 생성 중 언제든 새 프롬프트나 음성 지시를 입력할 수 있으며, 평균 1초 이내에 이후 화면의 전개를 실시간으로 바꿀 수 있습니다.
장면을 매끄럽게 전환: “Morph the scene”을 사용해 장면 변화를 설명하면 새 지시가 다음 chunk 경계에서 자연스럽게 적용됩니다.
출력 화질 선택: 필요에 따라 1080p, 2K 또는 4K 출력 해상도를 선택하면 시스템이 스트리밍 초해상도를 통해 고화질 화면을 실시간으로 제공합니다.
클립 캡처 및 저장: Clip 버튼을 클릭하면 언제든 현재 생성 중인 비디오 클립을 캡처해 저장할 수 있으며, 이후 편집이나 공유에 활용할 수 있습니다.
자체 애플리케이션에 연동: API Key를 발급받아 Orbis의 실시간 생성 기능을 자체 애플리케이션, 라이브 방송 또는 로봇 시뮬레이션 워크플로에 통합할 수 있습니다.

실시간 스트리밍 상호작용: 화면이 라이브 방송처럼 계속 생성되며, 사용자는 언제든 새 지시를 입력해 전개를 실시간으로 바꿀 수 있어 완성본을 기다릴 필요가 없습니다.
초장기 일관성: 제한된 다중 스케일 메모리 메커니즘을 통해 눈에 띄는 품질 저하나 색상 변화 없이 시간 단위의 연속 생성을 유지할 수 있습니다.
뛰어난 물리적 사실성: 인과적 시간 분해와 잠재 세계 모델 보상을 기반으로 객체의 움직임과 상호작용이 실제 물리 법칙에 부합하도록 합니다.
고화질 실시간 제공: 네이티브 생성과 스트리밍 초해상도를 결합해 4K@24FPS 비디오를 실시간으로 출력할 수 있습니다.
통합 생성 인터페이스: 동일한 인과적 이어쓰기 프레임워크가 텍스트-비디오, 이미지-비디오, 비디오 이어쓰기의 세 가지 시작 방식을 지원합니다.

프로젝트 공식 웹사이트：https://www.visko.ai/models
기술 논문：https://www.visko.ai/blog/papers/files/Visko_Orbis_1_0__A_Live_Model_for_Real_TimeInteractive_Long_Video_Generation.pdf

인터랙티브 엔터테인먼트 및 스토리 창작: 사용자가 실시간으로 이야기의 분기를 선택하거나 음성으로 이야기를 들려주면 화면이 지시에 따라 즉시 전개되어 ‘플레이 가능한 영화’ 경험을 제공합니다.
AI 라이브 방송 및 가상 스트리머: 가상 스트리머의 실시간 화면 엔진으로 활용되어 사전 녹화 자료 없이 라이브 화면을 계속 생성하고 댓글이나 음성 지시에 반응합니다.
로봇 시뮬레이션 훈련: 생성된 고품질 가상 세계에서 로봇의 행동을 훈련하고 테스트하여 실제 환경에 배치하기 전 시행착오 비용을 줄입니다.
몰입형 교육 및 훈련: 추상적인 지식이나 역사적 장면을 실시간으로 시각화하고, 학생이 음성으로 질문하면 시연 내용을 즉시 변경할 수 있습니다.
이커머스 가상 전시: 가상 인플루언서가 실시간으로 생성된 장면에서 상품을 역동적으로 소개하며, 사용자는 스타일, 각도 또는 사용 상황의 변경을 즉시 요청할 수 있습니다.