Hy-Nomas 운영 중

Hy-Nomas는 텐센트 혼위안 팀이 오픈 소스로 공개한 인터랙티브 비디오 월드 생성 모델입니다. 분할 자기회귀 방식으로 영상을 생성하며, 각 구간 사이에서 텍스트 프롬프트와 카메라 궤적 제어를 자유롭게 전환할 수 있고 lifelong KV cache를 통해 장거리 일관성을 유지합니다. Hy-Nomas는 코드와 가중치를 공개했으며, 증류 버전과 INT8 양자화 버전을 제공합니다. 최적화 후 단일 RTX 4090에서 로컬 추론이 가능합니다.

자유 형식 텍스트 제어: 임의 형식의 텍스트 프롬프트를 지원하여 생성된 세계의 사물, 스타일, 장면과 동작을 제어합니다.
카메라 궤적 제어: 카메라 이동 궤적을 조건으로 생성할 수 있으며, 텍스트 프롬프트와 자유롭게 조합하고 전환할 수 있습니다.
다중 라운드 인터랙티브 생성: Web 인터랙티브 인터페이스에서 구간 경계에 새 지시를 입력하여 여러 차례 연속 생성이 가능합니다.
프롬프트 강화(Nomas-PE): 내장 온라인 모델이 사용자의 구어체 지시를 구조화된 생성 프롬프트로 자동 변환합니다.
소비자용 로컬 배포: INT8 양자화와 CPU offload 최적화를 통해 단일 RTX 4090에서 추론할 수 있습니다.
LoRA 미세 조정: 사용자 지정 비디오 데이터로 미세 조정할 수 있으며, 추론을 위해 증류 모델에 병합할 수 있습니다.

WeChat에서 팔로우한 뒤 “开源”에 답장하여 AI 오픈 소스 프로젝트交流群에 참여하세요.
분할 자기회귀 아키텍처: 긴 영상을 여러 구간으로 나누어 생성합니다. 각 구간은 현재 프롬프트 또는 카메라 신호를 조건으로 하며, 모든 구간을 관통하는 lifelong KV cache를 유지해 시간에 따른 장면, 사물과 스타일의 일관성을 보장하고 장거리 월드 생성을 구현합니다.
증류 기반 추론 가속: 증류 학습을 통해 디노이징 단계를 4/6/8단계로 줄이고, 전용 미세 조정 PixelUMM 디코더로 32채널 DCAE-V 잠재 변수를 처리하여 품질을 유지하면서 추론 지연을 크게 줄입니다.
낮은 VRAM 추론 메커니즘: DiT 가중치와 KV cache는 INT8로 저장하고 계산은 BF16으로 유지합니다. 과거 컨텍스트는 슬라이딩 윈도우로 잘라 무한히 증가하지 않도록 하며, 텍스트 인코더, DiT, VAE를 단계별로 CPU와 GPU 사이에서 전환해 최대 VRAM 사용량을 소비자용 그래픽 카드가 감당할 수 있는 수준으로 낮춥니다.
LoRA 분할 강제 학습: 미세 조정은 비증류 checkpoint를 기반 모델로 사용하며, segment forcing 학습 파이프라인을 적용해 LoRA 매개변수(rank/alpha 256)만 학습합니다. 학습이 완료되면 LoRA 가중치를 증류 checkpoint에 병합하여 증류 가속을 유지하면서도 사용자 지정 기능을 갖춘 추론 모델을 얻습니다.

두 가지 모드의 자유로운 전환: 각 구간 생성에서 텍스트 프롬프트와 카메라 궤적 제어를 자유롭게 전환할 수 있어 인터랙션 방식이 유연합니다.
장거리 일관성: lifelong KV cache가 구간을 넘어 사물, 장면과 스타일의 연속성을 보장하여 긴 영상의 변형을 방지합니다.
소비자용 하드웨어 지원: INT8 양자화, 슬라이딩 윈도우와 CPU offload를 통해 단일 RTX 4090에서 로컬 추론이 가능합니다.
매우 빠른 추론: 증류 후 4~8회의 디노이징만 필요해 생성 지연을 크게 줄입니다.
완전한 오픈 소스: 코드, 가중치, 학습 및 데이터 라벨링 과정이 모두 공개되어 있으며 Apache 2.0 라이선스로 상업적 이용이 가능합니다.

프로젝트 공식 웹사이트: https://hy-nomas.hy.tencent.com/
GitHub 저장소: https://github.com/Tencent-Hunyuan/Hy-Nomas
HuggingFace 모델 저장소: https://huggingface.co/tencent/Hy-Nomas

AI 게임 프로토타입 개발: 텍스트와 카메라 지시를 통해 인터랙티브 게임 세계를 빠르게 생성하여 게임플레이 콘셉트를 저비용으로 검증할 수 있습니다.
로봇 시뮬레이션 학습: 공식 Robotics LoRA를 활용해 사실적인 로봇 팔 조작 환경을 생성하고, 체화 지능을 위한 합성 학습 데이터를 제공합니다.
영상 사전 시각화 및 스토리보드: 영화적 느낌의 LoRA로 일관된 롱테이크를 생성하여 감독의 카메라 움직임 설계와 시각적 프리뷰를 지원합니다.
가상 관광 및 공간 전시: 카메라 궤적 제어로 탐색 가능한 관광지, 전시장과 부동산 장면을 생성하여 기존 3D 모델링을 대체할 수 있습니다.
AI 연구 및 교육: 학습, 미세 조정과 데이터 라벨링을 위한 전체 코드가 공개되어 월드 모델 분야의 교육 및 연구 기반으로 활용할 수 있습니다.