DuoMatching 운영 중

DuoMatching은 홍콩중문대학교 MMLab과 바이트댄스가 공동 개발한 소스텝 비디오 생성 증류 프레임워크입니다. DuoMatching은 비디오 교사 모델로 시간적 일관성을 보장하는 동시에, 고정된 이미지 모델을 도입해 단일 프레임의 화질과 의미적 정렬을 감독합니다. LatentBridge로 잠재 공간을 연결하고 LVS로 핵심 감독 프레임을 선택해 영상 세부 표현과 프롬프트 준수도를 개선합니다. DuoMatching은 추론 비용을 증가시키지 않으며, 2단계 생성에서 VBench 총점 83.53을 달성했습니다.

단일 프레임 화질 향상: 소스텝 비디오 생성에서 머리카락, 질감, 소재 등의 세부 정보가 흐려지거나 손실되는 문제를 개선합니다.
의미적 정렬 강화: 프롬프트에 대한 모델의 준수도를 높이고, 객체 누락과 색상 오류 등의 문제를 줄입니다.
시간적 표현 유지: 단일 프레임 품질을 개선하면서도 비디오의 프레임 간 일관성과 움직임 능력을 대체로 유지합니다.
소스텝 생성 지원: 2단계, 4단계 등의 저지연 비디오 생성에 사용할 수 있어 실시간 또는 대화형 애플리케이션의 요구를 충족합니다.
추론 비용 증가 없음: 이미지 교사 모델은 학습에만 참여하며, 배포된 학생 모델은 이미지 모델을 추가로 실행할 필요가 없습니다.

WeChat에서 팔로우 후 “开源”에 답장하면 AI 오픈소스 프로젝트 교류 그룹에 참여할 수 있습니다.
결합 분포와 주변 분포의 이중 매칭: DuoMatching은 기존의 결합 DMD에 주변 DMD를 추가합니다. 비디오 교사 모델은 전체 비디오의 결합 분포를 매칭해 시간적 일관성과 움직임 품질을 유지하고, 고정된 이미지 교사 모델은 샘플링된 프레임의 주변 분포를 매칭해 단일 프레임 화질과 의미적 정렬을 향상합니다. 두 손실을 함께 사용해 학생 모델을 학습하며, 기본 주변 손실 가중치는 0.4입니다.
LatentBridge로 비디오와 이미지 잠재 공간 연결: 비디오 VAE와 이미지 VAE의 latent 구조가 호환되지 않기 때문에 DuoMatching은 약 1075만 개의 파라미터를 가진 LatentBridge를 사용해 비디오 latent 슬라이스를 이미지 교사 모델의 latent 공간으로 직접 매핑합니다. 이 모듈은 L1 재구성 손실로 사전 학습되어, RGB로 먼저 디코딩한 뒤 다시 인코딩할 때 발생하는 높은 GPU 메모리 사용량을 줄이고 이미지 교사 모델이 비디오 학생 모델을 효과적으로 감독할 수 있도록 합니다.
LVS를 통한 프레임 수준 감독 샘플링 최적화: Latent Variation Sampling은 인접한 latent 슬라이스의 변화 강도에 따라 비디오 구간을 나눈 뒤, 각 구간에서 감독 프레임을 선택합니다. 기본적으로 비디오마다 4개의 latent 슬라이스를 샘플링합니다. 무작위 샘플링과 비교하면 감독이 정적인 화면에 집중되는 현상을 줄이고, 제한된 프레임 수준 감독 예산을 변화가 더 큰 콘텐츠에 배분할 수 있습니다.

실행 환경 준비: CUDA를 지원하는 NVIDIA 그래픽카드를 준비하고 Python 3.10 환경을 구성합니다.
프로젝트 다운로드 및 설치: DuoMatching 저장소를 복제하고 PyTorch, FlashAttention 및 프로젝트에 필요한 의존성을 설치합니다.
모델 파일 다운로드: Wan2.1-T2V-1.3B 기본 구성 요소와 DuoMatching 공식 가중치를 내려받아 저장소의 기본 디렉터리에 배치합니다.
프롬프트 준비: UTF-8 텍스트 파일을 새로 만들고 각 줄에 프롬프트 하나를 입력합니다. 공식 prompts/demos.txt를 직접 사용할 수도 있습니다.
비디오 생성 시작: inference.py를 실행하고 명령어에서 추론 설정, 모델 가중치, 프롬프트 파일 및 출력 디렉터리를 지정합니다.
생성 결과 확인: 출력 디렉터리에서 비디오를 확인합니다. 공식 예시는 기본적으로 21프레임을 생성하며, 출력 프레임 수와 랜덤 시드를 설정할 수 있습니다.

단일 프레임 화질이 크게 향상됩니다: 독립적인 프레임 수준 감독을 통해 소스텝 생성에서 머리카락, 질감, 소재 등의 세부 정보가 손실되는 문제를 개선합니다.
프롬프트 준수도가 더 정확합니다: 이미지 모델의 의미적 사전 지식을 활용해 객체 누락, 색상 오류 및 구도 편차를 줄입니다.
추론 비용이 증가하지 않습니다: 이미지 교사 모델은 학습에만 참여하며, 배포된 학생 모델은 추론 단계나 추가 연산을 늘릴 필요가 없습니다.
화질과 움직임 능력을 함께 유지합니다: 시각적 품질과 의미적 정렬을 향상하면서도 비디오의 시간적 일관성과 움직임 표현을 대체로 보존합니다.
이미지 모델의 발전을 지속적으로 활용할 수 있습니다: 더 강력한 이미지 교사 모델로 교체하면 학생 모델을 추가로 향상할 수 있으며, 일반적으로 해당 LatentBridge를 다시 학습해야 합니다.

프로젝트 홈페이지: https://johnzhan2023.github.io/DuoMatching/
GitHub 저장소: https://github.com/JohnZhan2023/DuoMatching
HuggingFace 모델 저장소: https://huggingface.co/JohnZhan/DuoMatching
arXiv 기술 논문: https://arxiv.org/pdf/2610.03543

실시간 상호작용 및 라이브 생성: 소스텝·저지연 특성을 활용해 디지털 휴먼, 버추얼 스트리머 및 인터랙티브 라이브 방송용 동작과 표정 비디오를 빠르게 생성합니다.
광고 및 이커머스 콘텐츠 제작: 제품의 소재, 색상 및 지정 객체 생성 정확도를 높여 광고 화면과 창의적인 프롬프트가 일치하지 않는 문제를 줄입니다.
숏폼 드라마 및 애니메이션 프리비주얼라이제이션: 콘티와 동적 샘플을 빠르게 생성해 창작자가 캐릭터 동작, 카메라 연출 및 시각 효과를 낮은 비용으로 검증할 수 있도록 합니다.
게임 및 가상 세계 콘텐츠 생성: 게임 컷신, 캐릭터 동작 및 가상 장면을 위한 빠른 비디오 프로토타입을 제공해 인터랙티브 콘텐츠 생성 효율을 높입니다.
고동시성 비디오 생성 서비스: 추가 추론 비용 없이 소스텝 모델의 화질을 향상하므로 생성 속도, 서비스 비용 및 출력 품질을 모두 고려해야 하는 플랫폼에 적합합니다.