EdenLive 운영 중

EdenLive는 VAST가 선보인 실시간 생성형 렌더러로, 세계 모델 프로젝트 Project Eden의 단계적 성과입니다. EdenLive는 Proxy로 단순화한 화면 또는 참조 영상을 제어 신호로 사용하고, 목표 첫 프레임과 텍스트 프롬프트를 결합해 사실적이거나 스타일화된 화면을 지속적으로 실시간 생성합니다. 단일 RTX 5090에서 720P, 24FPS 이상의 성능을 내며 지연 시간은 수백 밀리초에 불과합니다. EdenLive의 핵심 설계는 세계 상태 유지와 시각적 렌더링을 분리하는 것입니다. 완전한 아트 에셋 없이도 상호작용 가능한 화면을 생성할 수 있으며, 전체 소스 코드가 공개되어 게임, 애니메이션, 체화 지능 데이터 생성 등의 분야에 활용할 수 있습니다.

실시간 생성형 렌더링: Proxy로 단순화한 화면 또는 참조 영상을 제어 신호로 사용해 정교하거나 스타일화된 화면을 지속적으로 실시간 생성하며, 720P에서 프레임 속도는 24 FPS를 초과합니다.
자유로운 화풍 전환: 목표 첫 프레임과 텍스트 프롬프트만 제공하면 동일한 화면을 애니메이션, 유화, 사실적 표현 등 다양한 시각 스타일로 변환할 수 있습니다.
다양한 참조 입력: 2D 애니메이션, 3D 장면, 실제 영상 등 다양한 소스를 구조와 움직임의 참조로 지원하며, 특정 렌더링 파이프라인에 의존하지 않습니다.
Proxy-to-Fine 생성: 대략적인 장면 구조에서 고품질 완성 화면을 직접 생성하므로 완전한 아트 에셋을 미리 제작할 필요가 없습니다.
게임 상호작용 연동: 상위 상호작용 시스템과 분리해 연동하면서 게임 UI와 조작 메커니즘을 유지하고, 상태 유지와 실시간 렌더링의 전체 흐름을 구현합니다.
오픈 소스 생태계 지원: 모델 가중치, 추론 코드, 기술 보고서를 공개하며, 자연어만으로 플레이 가능한 Proxy 게임을 한 번에 생성할 수 있는 Game Prototype Turbo를 함께 제공합니다.
체화 지능 데이터 생성: 원래의 동작 궤적과 장면 구조를 유지하면서 시각적 외관을 변경해 로봇 훈련에 필요한 다양한 데이터를 제공합니다.

위챗에서 “开源”라고 답장하면 AI 오픈 소스 프로젝트交流群에 참여할 수 있습니다.
상태와 렌더링 분리 아키텍처: EdenLive는 세계 상태 유지와 시각적 생성을 분리합니다. 게임 규칙, 캐릭터 위치, 충돌 판정 등은 상위 상호작용 시스템이 명시적으로 기록하고 업데이트하며, 비디오 모델은 더 이상 상태를 암묵적으로 추론하지 않습니다. 이를 통해 생성 시간이 길어질수록 오류가 누적되는 문제를 방지하고 화면 품질과 실시간성에 집중합니다.
Proxy-to-Fine 생성 방식: 모델은 Proxy로 단순화한 참조 화면이 제공하는 장면 배치, 카메라 움직임, 거친 수준의 동적 정보를 조건으로 사용합니다. 참조 화면이 특정 기하학적 정밀도에 도달할 필요 없이 정교한 목표 화면을 생성할 수 있습니다.
멀티모달 조건 제어: 생성은 세 가지 입력에 의해 함께 구동됩니다. 참조 영상 스트림은 구조와 움직임 정보를 제공하고, 목표 첫 프레임은 전체적인 시각적 외관과 화풍을 결정하며, 텍스트 프롬프트는 스타일과 세부 사항을 보완합니다. 세 요소가 협력해 다양한 참조와 화풍을 유연하게 제어합니다.
실시간 스트리밍 생성: 모델은 오프라인 전체 구간 생성이 아닌 스트리밍 추론을 사용합니다. 변화하는 참조 화면을 지속적으로 수신하고 렌더링 결과를 프레임 단위로 출력합니다. 단일 RTX 5090, 5B 파라미터, 720P 구성에서 24 FPS 이상의 성능과 수백 밀리초 수준의 엔드투엔드 지연 시간을 구현하며, 수 분 단위의 연속 생성이 가능합니다.

코드 받기: GitHub에서 오픈 소스 저장소를 클론합니다 https://github.com/VAST-AI-Research/EdenLive。
가중치 다운로드: Hugging Face에서 해당 크기 사양의 모델 가중치를 다운로드합니다 https://huggingface.co/VAST-AI/EdenLive。
입력 1 준비, 참조 화면: Proxy로 단순화한 장면 또는 참조 영상 스트림을 제공합니다. 직접 구축한 2D/3D 장면, 게임 엔진 출력 또는 화면 녹화에서 가져올 수 있습니다.
입력 2 준비, 목표 첫 프레임: 전체 화풍과 시각적 외관을 결정하는 첫 프레임 이미지를 지정합니다.
입력 3 준비, 텍스트 프롬프트: 스타일과 세부 사항을 설명하는 텍스트 프롬프트를 작성합니다.
추론 실행: 추론 코드를 호출하면 EdenLive가 참조 화면을 지정한 스타일의 정교한 화면 또는 영상 스트림으로 실시간 렌더링합니다.
상호작용 시스템 연동: 상위 엔진에서 출력되는 동적 참조 화면을 모델에 지속적으로 입력해 게임과 같은 실시간 상호작용 장면의 렌더링 루프를 구현합니다.
엔드투엔드 데모 체험: 오픈 소스 Game Prototype Turbo를 사용해 자연어로 플레이 가능한 Proxy 게임을 생성한 뒤 EdenLive의 실시간 렌더링을 연결해 전체 과정을 실행합니다.

뛰어난 실시간성: 단일 RTX 5090에서 720P, 24FPS 이상의 성능으로 수 분간 연속 생성할 수 있으며, 엔드투엔드 지연 시간은 수백 밀리초 수준에 불과합니다.
안정적인 분리 아키텍처: 세계 상태는 상호작용 시스템이 명시적으로 유지하고 비디오 모델은 렌더링에 집중하므로, 상태의 암묵적 추론으로 인한 오류 누적을 방지합니다.
낮은 입력 장벽: Proxy 참조에는 정밀한 기하 구조나 특정 렌더링 파이프라인이 필요하지 않으며, 대략적인 장면만으로도 완성도 높은 화면을 생성할 수 있습니다.
자유로운 화풍 전환: 동일한 참조 화면에서 사실적 표현, 애니메이션, 유화 등 원하는 스타일을 생성할 수 있어 스타일별로 에셋을 다시 제작할 필요가 없습니다.
다양한 참조 소스 지원: 2D 애니메이션, 3D 장면, 실제 영상 등 다양한 소스를 지원해 생성형 렌더링을 일관되게 수행합니다.

프로젝트 공식 웹사이트：https://vast-eden.ai/?p=edenlive
GitHub 저장소：https://github.com/VAST-AI-Research/EdenLive
Hugging Face 모델 저장소：https://huggingface.co/VAST-AI/EdenLive
기술 논문：https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf

AI 게임 개발: EdenLive로 완성도 높은 화면을 실시간 렌더링하면 인디 개발자도 낮은 비용으로 3D 게임을 제작할 수 있습니다.
영화 및 애니메이션 사전 제작: 감독은 간단한 화면으로 구도, 카메라 움직임, 캐릭터 동선을 정한 뒤 사실적 표현, 카툰, 유화 등 다양한 스타일의 버전을 한 번에 생성해 미술 방향을 빠르게 확정할 수 있습니다.
실시간 스타일 변환 라이브 스트리밍/영상: 실제 인물 영상을 참조로 사용해 실제 연기를 애니메이션 또는 다른 스타일의 화면으로 실시간 렌더링하며, 버추얼 스트리머와 숏폼 영상 제작에 활용할 수 있습니다.
체화 지능 훈련 데이터 생성: 로봇의 동작 궤적과 장면 구조를 유지하면서 시각적 외관을 변경해 로봇 훈련에 필요한 다양한 시뮬레이션 데이터를 빠르게 생성합니다.
인터랙티브 교육 및 가상 체험: 교육 및 전시 애플리케이션의 단순화된 3D 장면을 고품질 화면으로 실시간 렌더링해 사용자가 브라우저나 경량 기기에서 몰입감 있는 상호작용 경험을 얻도록 합니다.