오늘 MiniMax가 차세대 범용 동영상 모델 MiniMax H3를 정식으로 오픈 소스 공개했습니다.
소개에 따르면 MiniMax H3는 범용 전모달 생성 시스템입니다. 텍스트, 이미지, 동영상, 오디오로 구성된 멀티모달 컨텍스트를 통합적으로 이해하고, 최대 2K 해상도와 최장 15초 길이의 네이티브 스테레오 오디오 동영상을 생성할 수 있습니다. 작업 일반화를 지향하는 시스템 설계 덕분에 H3는 사전 학습 단계에서부터 폭넓은 멀티모달 컨텍스트 이해 및 생성 능력을 갖추었으며, 복잡한 멀티모달 지시를 효과적으로 따를 수 있습니다.
H3는 다음 입력 및 출력 사양을 지원합니다.
출력 길이: 4–15초
출력 화면비: 21:9, 16:9, 4:3, 1:1, 3:4, 9:16을 비롯한 다양한 화면비 지원
출력 해상도: 다양한 해상도 지원. 기본적으로 짧은 변을 768픽셀로 설정합니다. H3-Regenerate-2K를 사용하면 2K 해상도로 생성할 수 있습니다.
출력 프레임 레이트: 24 FPS
출력 오디오: 32 kHz 스테레오
지원 대화 언어: 아랍어, 중국어, 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 포르투갈어, 러시아어, 스페인어 등 11개 언어를 안정적으로 지원합니다. 그 밖의 언어도 일정 수준 지원합니다.
모델 버전 및 입력 사양:
① H3-Base-FL2VA
시작·끝 프레임 모드: 이미지 0장, 1장 또는 2장 입력 지원:
이미지를 입력하지 않으면 텍스트-투-비디오 모드입니다.
시작 프레임 이미지를 입력하면 시작 프레임 기반 동영상 생성 모드입니다.
끝 프레임 이미지를 입력하면 끝 프레임 기반 동영상 생성 모드입니다.
시작 프레임과 끝 프레임 이미지를 동시에 입력하면 시작·끝 프레임 기반 동영상 생성 모드입니다.
② H3-Base-Ref2VA
전모달 참조 모드:
이미지: 최대 9장
동영상: 최대 3개 클립. 각 클립의 길이는 2–15초여야 하며, 총 길이는 15초를 초과할 수 없습니다.
오디오: 최대 3개 클립. 오디오는 이미지 또는 동영상과 함께 입력해야 하며 단독 입력은 불가능합니다. 각 클립의 길이는 2–15초여야 하며, 총 길이는 15초를 초과할 수 없습니다.
혼합 입력: 모든 유형의 입력 파일을 합쳐 최대 12개
H3 전체 시스템은 다음 세 가지 모듈로 구성됩니다.
H3-Contex t-IR: 입력이 점점 복잡해짐에 따라, 입력된 멀티모달 지시를 심층적으로 이해하고 정제한 뒤 H3가 더 쉽게 이해하고 생성에 직접 사용할 수 있는 형태로 변환하는 전용 시스템을 구축했습니다. 이를 Context Intermediate Representation(컨텍스트 중간 표현)이라고 합니다. H3-Context-IR은 최종 출력 품질에 매우 중요합니다. 따라서 생성 과정에 H3-Context-IR API를 통합할 것을 강력히 권장합니다. 또는 프롬프트 가이드를 참고해 자체 컨텍스트 처리 시스템을 구축할 수 있습니다.
H3-Base: H3-Context-IR의 출력에 따라 오디오와 동영상을 생성하고 768p 해상도의 결과를 출력합니다.
H3-Regenerate-2K: 768p 생성 결과와 원본 컨텍스트를 함께 H3에 다시 입력해 2K 해상도로 결과를 재생성합니다. 이를 통해 H3의 강력한 생성 능력을 활용하는 동시에 원본 컨텍스트에 담긴 풍부한 정보를 충분히 활용하여 더욱 정확한 디테일과 높은 시각적 충실도를 갖춘 고해상도 결과를 생성할 수 있습니다.
MiniMax H3는 MiniMax H3 Community License에 따라 배포됩니다.
오픈 소스 주소: huggingface.co/MiniMaxAI/MiniMax-H3