VDN-MiniMax-H3 운영 중

VDN-MiniMax-H3는 OpenVDN 팀이 오픈 소스로 공개한 동영상 생성 가속 솔루션으로, MiniMax-H3를 기반으로 개선되었습니다. 모델은 혼합 어텐션 아키텍처를 사용하며, 로컬 슬라이딩 윈도우 Softmax로 세밀한 디테일을 유지하고, 장거리 선형 어텐션으로 긴 범위의 컨텍스트를 처리한 다음 8단계 증류를 통해 디노이징 단계를 크게 줄입니다. 이 모델은 NVIDIA B200 8개에서 단 11.23초 만에 약 14.4초 길이의 768p 동영상을 생성하며, 화질은 원본 50단계 Dense H3와 거의 손실이 없습니다.

혼합 어텐션 아키텍처: 비디오 어텐션을 로컬 Softmax 분기와 장거리 선형 분기로 나누어 세밀한 디테일과 장거리 컨텍스트를 모두 확보합니다.
8단계 초고속 생성: DMD2 증류를 통해 디노이징 단계를 50단계에서 8단계로 줄여 생성 시간을 크게 단축합니다.
거의 무손실에 가까운 화질: 11.23초 만에 14.4초 분량의 동영상을 생성하면서도 시각적 품질은 기존 50단계 Dense H3 기준 모델에 근접합니다.
3단계 학습 적용: 계층별 정렬, 엔드투엔드 분기 적용, LoRA 공동 적용을 사용해 사전 학습 모델에 무작위 초기화로 인한 교란이 발생하지 않도록 합니다.
분기 전용 병렬화: Softmax 분기와 선형 분기를 서로 다른 GPU에 할당하여 표준 Ulysses 병렬화보다 지연 시간을 13.3% 추가로 줄입니다.

WeChat에서 “开源”를 팔로우하고 답장하여 AI 오픈 소스 프로젝트 교류 그룹에 참여하세요
혼합 어텐션 아키텍처: VDN은 비디오 어텐션을 로컬 Softmax와 장거리 선형이라는 상호 보완적인 두 분기로 분할합니다. 전자는 세밀한 디테일을 보존하고, 후자는 선형 복잡도로 장거리 컨텍스트를 처리하여 전체 이차 복잡도 어텐션을 대체합니다.
로컬 Softmax 분기: 양방향 슬라이딩 윈도우를 사용하며, 5개 프레임마다 인접 블록에 주의를 기울이도록 그룹화하고 시작 및 끝 프레임을 경계 앵커로 도입합니다. 어텐션 밀도를 3.57%만 증가시켜도 전역 시간적 일관성을 유지할 수 있습니다.
Video Delta Attention: 기존의 토큰 단위 Delta Rule을 프레임 단위 공동 해법으로 확장합니다. 정규방정식을 통해 모든 공간 토큰이 새로운 상태를 공동으로 결정하므로 본질적으로 확장되지 않으며 토큰 간 상관관계에 적응할 수 있고, 프레임 크기를 강제로 조정할 필요가 없습니다.
텍스트 이중 분기 주입: Softmax 분기의 텍스트는 각 프레임에서 전역적으로 볼 수 있으며, 선형 분기에서는 초기화 시 텍스트를 양방향 상태에 한 번에 기록하여 중복 계산을 방지합니다.
게이팅 융합 메커니즘: 두 분기의 출력 스케일이 다르므로 각각 콘텐츠에 따라 달라지는 Sigmoid 게이팅과 독립적인 출력 프로젝션을 적용한 후 결합합니다. 학습 초기 두 단계에서는 Softmax 게이팅을 동결하여 옵티마이저가 원래 분기의 출력을 낮춰 손실을 줄이는 것을 방지합니다.
3단계 학습 적용: 선형 분기를 계층별로 정렬한 다음 모든 혼합 모듈을 엔드투엔드 방식으로 공동 최적화하고, 마지막으로 QKVO LoRA와 선형 분기를 함께 미세 조정합니다. 전 과정에서 사전 학습된 백본을 동결하여 생성 품질이 무너지지 않도록 합니다.

환경 준비: GitHub 저장소를 복제한 후 Python 3.12 환경을 생성하고 PyTorch 2.13.0 및 프로젝트 종속 항목을 설치합니다.
모델 다운로드: ModelScope를 통해 OpenVDN/vdn-minimax-h3 가중치를 로컬 ckpts 디렉터리에 다운로드합니다.
공식 예제 실행: scripts/inference/8nfe_tuned_fp8.sh를 실행하면 단일 GPU로 예제 영상을 생성할 수 있습니다.
다중 GPU 추론: 하드웨어에 따라 8nfe_tuned_fp8_ulysses_h200.sh 또는 b200.sh 스크립트를 선택하여 8개 GPU에서 실행합니다.
사용자 지정 프롬프트: encode_prompt.py를 사용해 Qwen3-VL-32B로 텍스트를 .pt 특성 파일로 인코딩한 후 infer.py에 전달하여 영상을 생성합니다.

초고속 생성: 8단계 증류와 혼합 어텐션을 통해 B200 8장에서 약 14.4초 길이의 768p 동영상을 단 11.23초 만에 생성하며, 원본 모델보다 74.5배 빠릅니다.
거의 손실 없는 화질: 시각적 디테일, 주체 일관성 및 지시사항 준수 능력이 50단계 Dense H3 기준 모델에 근접하며, 4단계 FastH3보다 크게 우수합니다.
혼합 어텐션 아키텍처: 로컬 Softmax는 정밀한 시간적 디테일을 유지하고, 장거리 선형 어텐션은 선형 복잡도로 장거리 문맥을 처리해 품질과 효율을 모두 확보합니다.
프레임 단위 공동 해결(VDA): 토큰별 업데이트를 프레임 단위 공동 최적화로 확장하여, 자연스럽게 비팽창적이고 토큰 간 상관관계에 적응하며 강제적인 스케일 조정이 필요 없습니다.
단계적 안정 적응: 계층별 정렬, 엔드투엔드 분기 적응, LoRA 공동 미세 조정의 3단계 학습을 통해 사전 학습 모델에 대한 무작위 초기화의 영향을 방지합니다.
분기 전용 병렬화: Softmax 분기와 VDA 분기를 서로 다른 GPU에 할당해 실행함으로써, 표준 Ulysses 병렬화보다 지연 시간을 13.3% 더 줄입니다.

프로젝트 공식 웹사이트: https://openvdn.github.io/
GitHub 저장소: https://github.com/OpenVDN/vdn-minimax-h3
HuggingFace 모델 저장소: https://huggingface.co/OpenVDN/vdn-minimax-h3

실시간 인터랙티브 동영상 제작: 8단계 초고속 생성으로 크리에이터는 프롬프트를 실시간으로 조정하고 결과를 즉시 미리 볼 수 있어, 아이디어 반복 작업 시간을 크게 단축할 수 있습니다.
광고 마케팅 소재 대량 제작: 전자상거래 및 브랜드 담당자는 여러 버전의 제품 소개 영상과 동적 포스터를 빠르게 생성하여 명절 프로모션 등 빈번한 소재 수요를 충족할 수 있습니다.
영화·방송 프리비주얼라이제이션 및 동적 스토리보드: 감독과 제작진은 본 촬영 전에 스토리보드 애니메이션을 빠르게 생성하여 영상 언어, 장면 구성과 내러티브 리듬을 검증할 수 있습니다.
게임 동적 콘텐츠 생성: 오픈 월드 게임이나 가상 소셜 플랫폼을 위해 NPC 애니메이션, 환경 전환 장면 및 플레이어 맞춤형 스토리 장면을 실시간으로 생성할 수 있습니다.
소셜 미디어 숏폼 동영상의 산업화된 제작: MCN 기관과 1인 미디어 크리에이터는 낮은 비용과 높은 동시 처리 능력으로 단편 드라마, 가상 캐릭터 Vlog 등의 숏폼 동영상 콘텐츠를 제작할 수 있습니다.