HOMIE 운영 중

HOMIE는 홍콩과학기술대학교가 오픈소스로 공개한 디지털 휴먼 영상 생성 프레임워크로, Wan2.1-T2V-14B 백본 네트워크를 기반으로 Qwen3-VL 멀티모달 대규모 언어 모델을 통합합니다. 이 프레임워크는 디지털 휴먼+상품+Logo+텍스트의 네 가지 요소를 통합적으로 처리하여 사람-사물 상호작용, 브랜드 로고 부착, OCR 텍스트 보존, 다중 시점 일관성이라는 네 가지 핵심 과제를 정밀하게 해결합니다. 모델 학습에는 5.5K 스텝/약 1만 A100 시간이 필요하며, OCR 정확도는 오픈소스 최고 수준 모델보다 38.7% 향상되었습니다. 단일 GPU에서 480P부터 다중 GPU 기반 720P 추론까지 지원하여 이커머스 라이브 커머스, 가상 앵커 등 다양한 시나리오에서 영상 제작의 진입 장벽을 크게 낮춥니다.

사람-사물 상호작용 영상 개인화: 여러 인물과 다양한 사물이 하나의 영상에 동시에 등장하도록 지원하며, 각 주체의 외관 일관성을 유지하고 손에 들기, 상품 보여주기, 상품 전달 등 자연스럽고 합리적인 상호작용 동작을 구현합니다.
Logo 및 추상적 개념의 정밀한 부착: 멀티모달 대규모 언어 모델(MLLM)의 의미 추론 능력을 활용해 브랜드 Logo와 같은 추상적 개념을 의미적으로 가장 관련성이 높은 사물에 자동으로 부착하므로, 프롬프트에서 위치 관계를 명시적으로 설명할 필요가 없습니다.
OCR 텍스트의 높은 충실도 생성: OCR 참고 이미지를 활용하여 제품 포장과 라벨의 텍스트가 생성 영상에서 선명하고 읽기 쉽게 표시되도록 하며, 흐려지거나 글자가 뒤섞이는 AI 영상 생성의 문제를 해결합니다.
다중 시점 일관성 생성: 동일한 사물의 여러 시점 참고 이미지를 제공하면 영상에서 사물이 회전하거나 움직일 때도 일관된 외관과 디테일을 유지합니다. 피규어, 3D 모델, 인형 등의 전시 장면에 적합합니다.

WeChat에서 팔로우 후 “开源”라고 답장하여 AI 오픈소스 프로젝트交流群에 참여하세요.
전체 아키텍처: Alibaba Wan2.1-T2V-14B의 DiT를 백본으로 사용하고, Qwen3-VL-2B-Thinking을 시각 이해 모듈로 도입합니다. UmT5 텍스트 인코더 및 VAE 시각 인코더와 결합하여 “텍스트+멀티모달 의미+시각”의 3중 병렬 생성 아키텍처를 구성합니다.
MLLM 통합 전략: 기존 텍스트-영상 생성 정렬 관계를 훼손하거나 비용이 많이 드는 재정렬 비용을 발생시키지 않으면서, 멀티모달 대규모 언어 모델의 의미 추론 능력을 DiT에 주입하여 모델이 참고 이미지 간의 잠재적 관계를 자동으로 이해하도록 합니다.
전역 멀티모달 자기 어텐션 유도(GMG): DiT의 자기 어텐션 계층에서 MLLM이 추출한 의미 특징과 VAE 시각 토큰을 전역적으로 정렬합니다. 프로젝션, 풀링, 아핀 변환을 통해 생성 과정의 각 영상 토큰이 참고 이미지의 전역 의미 정보를 “볼” 수 있도록 합니다.
모달리티-참고 임베딩(MRE): MLLM 특징 토큰과 VAE 시각 토큰에 각각 모달리티 임베딩을 부여하고, 서로 다른 참고 이미지에는 독립적인 참고 임베딩을 부여합니다. 또한 동일한 주체의 다중 시점/OCR 참고 이미지 토큰을 연결하여 정보가 혼동되는 것을 방지합니다.
3단계 점진적 학습: 단일 주체 480P→다중 주체 480P→고화질 720P의 단계로 총 5.5K 스텝만에 학습을 완료하며, 동종 방법의 수만 스텝보다 훨씬 적습니다.

환경 준비: GitHub에서 HOMIE 코드 저장소를 로컬에 복제하고 환경 의존성 설치를 완료합니다.
가중치 다운로드: HuggingFace에서 공식 사전 학습 가중치를 지정된 모델 디렉터리에 다운로드합니다.
소재 준비: 인물 사진, 상품 이미지, Logo 이미지 또는 OCR 텍스트 이미지 등 여러 주체의 참고 이미지를 준비합니다.
프롬프트 작성: 목표 영상에서 인물과 사물 간의 상호작용 동작 및 장면을 정확하게 설명하는 텍스트 프롬프트를 작성합니다.
추론 실행: 추론 스크립트를 실행하면 HOMIE가 멀티모달 참고 정보를 자동으로 결합하여 개인화된 영상을 생성합니다.
해상도 선택: 단일 GPU로 832×480 해상도 영상을 바로 생성할 수 있으며, 다중 GPU FSDP를 사용하면 720P 고화질 출력으로 확장할 수 있습니다.

통합 프레임워크: 하나의 프레임워크로 사람-사물 상호작용, Logo 부착, OCR 텍스트 보존, 다중 시점 일관성이라는 네 가지 작업을 동시에 처리하므로 시나리오마다 다른 모델로 전환할 필요가 없습니다.
효율적인 학습: 5.5K 스텝/약 1만 A100 시간만으로 학습을 완료할 수 있어, 동종 방법에 일반적으로 필요한 3–4만 스텝보다 비용이 훨씬 낮습니다.
MLLM의 손실 없는 통합: 텍스트 인코더의 제어 가능성을 저하시키거나 비용이 많이 드는 재정렬 비용을 발생시키지 않으면서 멀티모달 대규모 언어 모델의 의미 추론 능력을 영상 생성 파이프라인에 주입합니다.
뛰어난 품질: OCR 정확도가 38.7% 향상되고 다중 시점 일관성이 8.2% 향상되었으며, 40명을 대상으로 한 사용자 연구에서 64.7%가 전체 품질을 1위로 평가했습니다.
유연한 추론: 단일 GPU 480P부터 다중 GPU 720P 추론까지 지원하며, 1280×720 세로형 영상도 출력할 수 있어 라이브 커머스와 숏폼 영상 제작에 바로 적용할 수 있습니다.

프로젝트 공식 웹사이트：https://yiyangcai.github.io/homie-page.github.io
GitHub 저장소：https://github.com/YIYANGCAI/HOMIE
HuggingFace 모델 저장소：https://huggingface.co/yychai/homie-r2v-wan2.1
arXiv 기술 논문：https://arxiv.org/pdf/2607.18217

이커머스 라이브 커머스: 지정한 디지털 휴먼이 지정한 상품을 들고 지정한 동작을 수행하는 커머스 영상을 생성하며, 1280×720 세로형 출력을 지원해 숏폼 플랫폼에 바로 적용할 수 있습니다.
브랜드 광고 제작: 브랜드 Logo를 의미적으로 관련성이 높은 제품에 자동으로 부착하므로 프롬프트에서 위치 관계를 명시적으로 지정할 필요가 없습니다.
가상 앵커/디지털 휴먼: 디지털 휴먼의 정체성 일관성을 유지하면서 여러 상품과 자연스럽게 상호작용합니다.
제품 다중 시점 전시: 피규어, 3D 모델 또는 인형의 여러 시점 참고 이미지를 제공하면 회전 전시 영상을 생성하며, 모든 각도에서 외관이 일관되게 유지됩니다.
포장 텍스트 보존: OCR 참고 이미지와 함께 사용하여 제품 포장과 라벨의 텍스트가 영상에서 선명하고 읽기 쉽게 표시되도록 하며, 식품, 화장품, 건강보조식품 등 성분 및 설명 표시가 필요한 장면에 적합합니다.