LingBot-World 2.0 운영 중

LingBot-World 2.0은 Ant Lingbo Technology가 오픈 소스로 공개한 실시간 상호작용 월드 모델로, 게임처럼 실시간으로 플레이할 수 있습니다. 게임은 이동, 공격, 스킬 시전, 점프 등의 조작과 눈·비 등 환경 이벤트를 지원하며, 고성능 설정에서 최대 720P/60FPS로 시간 단위의 연속적인 화면을 생성하면서도 화면이 흐트러지지 않습니다. 현재 14B와 1.3B Small, Bidirectional, Causal Pretrain의 네 가지 모델이 오픈 소스로 공개되어 있으며, 게임, 체화 지능 시뮬레이션 및 상호작용 데이터 생성에 활용할 수 있습니다.

실시간 상호작용 탐색: 720P / 60FPS와 1초 미만의 지연으로 자유롭게 걷고 시점을 전환할 수 있는 오픈 월드를 실시간 생성합니다.
다양한 캐릭터 동작: 공격, 활쏘기, 스킬 시전, 사격, 점프, 활공 등 풍부한 조작을 지원합니다.
환경 이벤트 기반 구동: 눈이나 비 등 텍스트로 구동되는 동적 세계 이벤트에 반응합니다.
시간 단위의 장기 생성: 장시간 플레이해도 화면의 일관성이 유지되며, 흐트러지거나 무너지지 않습니다.
지능형 에이전트 협업 제어: ‘플레이어 Agent + 디렉터 Agent’를 내장해 각각 캐릭터 행동 계획과 장면 요소 합성을 담당합니다.
다인 공유 세계: 여러 사용자가 하나의 생성된 세계에 동시에 몰입하고 협력하여 장면을 만들어 갈 수 있습니다.
체화 지능 시뮬레이션: 게임 세계를 넘어 로봇 시뮬레이션, 미래 상태 예측 및 상호작용 데이터 생성으로 확장됩니다.
경량 로컬 배포: 1.3B Small 버전은 소비자용 단일 GPU에서 실시간으로 실행할 수 있습니다.

인과적 사전 학습 패러다임: 정교하게 설계된 인과적 사전 학습(Causal Pretrain)을 통해 상호작용 시간에 제한이 없는 동시에 출력 품질을 장기간 일관되게 유지합니다. 이는 장기 생성에서 화면이 흐트러지지 않는 핵심입니다.
실시간 증류: 기반 모델에서 실시간 변형 모델을 증류하며, Bidirectional 모델을 고품질 증류 소스로 활용해 720P/60FPS 영상 스트림을 구동할 수 있을 만큼 추론 속도를 확보합니다.
동작 조건부 시각 동역학: 1인칭 영상, 합성 영상 및 웹상의 방대한 동영상에서 ‘동작-화면’ 조건부 동역학을 학습해, 조작과 이벤트를 시각적 변화로 충실하게 구현합니다.
듀얼 에이전트 아키텍처: 최초로 Agentic Harness를 도입했습니다. Pilot Agent는 캐릭터 행동을 계획하고 실행하며, Director Agent는 장면의 진행에 따라 새로운 환경 요소를 합성해 에이전트 구동과 사용자 개입을 결합합니다.
대형·소형 모델 협업: 14B 주 모델과 1.3B 경량 모델을 함께 사용해 성능과 단일 GPU 배포성을 모두 확보하고, 연구 재현의 진입 장벽을 낮춥니다.

무제한 상호작용 시간: 인과적 사전 학습 패러다임을 통해 시간 단위로 연속 생성하면서도 화면이 장기간 흐트러지지 않아, 기존 영상 모델의 길이 한계를 극복합니다.
실시간의 매끄러운 경험: 증류된 실시간 변형 모델은 720P / 60FPS와 1초 미만의 지연을 지원해 실제로 ‘플레이 가능한’ 수준의 상호작용을 구현합니다.
풍부한 상호작용 요소: 공격, 활쏘기, 스킬 시전, 사격 등 다양한 동작과 텍스트로 구동되는 눈·비 등의 환경 이벤트를 지원해 상호작용의 범위를 크게 확장합니다.
최초의 듀얼 에이전트 아키텍처: Pilot Agent는 캐릭터 행동을 계획하고, Director Agent는 장면 요소를 동적으로 합성해 에이전트 구동과 사용자 개입을 동시에 지원합니다.
다인 협력 및 공유: 여러 사용자가 하나의 생성된 세계에 동시에 들어가 한 명은 플레이하고 다른 한 명은 연출하는 등 기존의 단일 사용자 생성 방식을 바꿉니다.
낮은 배포 진입 장벽: 1.3B Small 버전은 소비자용 단일 GPU만으로 실시간 실행할 수 있어 개인 개발자도 로컬에서 재현할 수 있습니다.

초장기 생성: 인과적 사전 학습으로 시간 단위의 연속 생성을 지원하며, 화면이 장기간 흐트러지지 않습니다.
실시간 플레이: 증류된 실시간 변형 모델로 720P/60FPS와 1초 미만의 상호작용 지연을 구현합니다.
풍부한 상호작용: 공격, 활쏘기, 스킬 시전, 사격 등의 동작과 텍스트로 구동되는 환경 이벤트를 지원합니다.
듀얼 Agent 아키텍처: Pilot Agent는 캐릭터 행동을 계획하고, Director Agent는 장면을 동적으로 합성합니다.
다인 협력: 여러 사용자가 하나의 생성된 세계를 공유하며, 한 명은 플레이하고 다른 한 명은 연출할 수 있습니다.
낮은 배포 진입 장벽: 1.3B Small 버전은 소비자용 단일 GPU에서 로컬 실시간 실행이 가능합니다.
다양한 장면: 게임 세계에서 로봇 시뮬레이션, 미래 예측 및 상호작용 데이터 생성으로 확장됩니다.

프로젝트 공식 웹사이트: https://technology.robbyant.com/lingbot-world-v2
GitHub 저장소: https://github.com/robbyant/lingbot-world-v2
HuggingFace 모델 저장소: https://huggingface.co/robbyant/lingbot-world-v2-14b-causal-fast
arXiv 기술 논문: https://arxiv.org/pdf/2607.07534

AI 게임 개발: 실시간 생성형 게임 엔진으로 활용되어 플레이어의 조작에 따라 레벨, 장면 및 이벤트를 동적으로 생성하고, AAA급 콘텐츠 제작 비용을 낮춥니다.
영화·영상 및 가상 촬영 프리비주얼라이제이션: 감독이 텍스트 명령으로 가상 장면을 실시간 구축하고 둘러보며, 촬영 구도와 분위기를 빠르게 미리 확인해 사전 세트 제작과 각본 수정에 드는 시간을 크게 줄일 수 있습니다.
체화 지능 훈련장: 로봇에 고도화된 상호작용 시뮬레이션 환경을 제공해 인지, 의사 결정 및 장기 상호작용 능력을 훈련하고, 실제 로봇의 시행착오 비용을 줄입니다.
VR/AR 및 디지털 관광·문화: 무한히 탐험할 수 있는 몰입형 가상 공간을 생성해 가상 전시, 문화관광 안내 및 다인 협력 메타버스 경험에 활용할 수 있습니다.
상호작용형 교육 및 훈련: 조작 가능한 가상 실험, 비상 대응 훈련 및 역사적 장면을 구축해 학습자가 ‘플레이 가능한 세계’에서 영상을 보는 것보다 깊이 있는 몰입형 훈련을 경험하도록 합니다.