InstructAV2AV – 즈위안과 베이징대학교가 공동 오픈소스로 공개한 음영상 통합 편집 모델 운영 중

InstructAV2AV는 베이징 즈위안 인공지능 연구원과 베이징대학교가 공동으로 선보인 음영상 통합 편집 모델입니다. 사용자는 자연어 명령 한 문장만으로 엔드투엔드 생성 과정에서 영상 화면과 해당 음성을 동시에 편집할 수 있으며, 수동 마스크나 단계별 처리도 필요하지 않습니다. 이 모델은 대사 수정, 인물 교체, 객체 삽입 및 삭제를 지원하고 배경음과 환경음을 그대로 유지하면서 영상과 음성의 시간적 동기화를 유지할 수 있습니다.

정체성 보존 음성 수정: 인물의 외형을 유지하면서 말하는 내용만 교체합니다.
음영상 인스턴스 교체: 화면 속 특정 인물을 음성 및 대사와 함께 교체합니다.
인스턴스 삽입: 화면에 새로운 객체를 추가하고 이에 동기화된 음성을 자동으로 생성합니다.
인스턴스 제거: 지정된 객체와 오디오 트랙에 해당하는 음성을 삭제합니다.
속성 조합 편집: 인물의 외형, 말하는 내용 및 음색을 각각 독립적으로 수정하고 자유롭게 조합할 수 있습니다.

WeChat에서 팔로우한 후 “오픈소스”라고 답장하여 AI 오픈소스 프로젝트 교류 그룹에 참여하세요.
소스 잠재변수 결합: 소스 비디오와 소스 오디오의 잠재변수 및 노이즈를 채널 차원에서 결합하여 소스 콘텐츠가 전체 디노이징 과정의 구조적 조건이 되도록 합니다. 이를 통해 모델이 배경, 무관한 객체 및 환경음을 보존하도록 제약하고, “하나의 대상만 수정하려다 전체 장면을 다시 그리는” 문제를 방지합니다.
SIGA 게이트 어텐션: Source-Instruction Gated Attention은 각 토큰이 소스 특징과 지시문 특징 모두와 상호작용하도록 하며, 학습 가능한 소프트 게이팅을 통해 위치별로 얼마나 수정하고 얼마나 유지할지 결정합니다. 이를 통해 콘텐츠 보존과 지시문 실행 사이의 동적 균형을 실현합니다.
양중 스트림 상호작용 아키텍처: Ovi 대칭형 양중 스트림 확산 Transformer를 기반으로 하며, 비디오와 오디오 분기가 각각 자기 어텐션으로 모델링된 후 양방향 크로스모달 어텐션을 통해 특징을 교환합니다. 이를 통해 시각적 움직임과 사운드 이벤트가 서로 제약하며 동기화를 유지합니다.
2단계 학습: 크로스모달 어텐션을 끈 상태에서 단일 모달 편집 능력을 각각 학습한 뒤, 전체 아키텍처를 복원하여 공동 미세 조정을 수행하고 영상과 음성 사이의 세밀한 대응 관계를 학습합니다.
자동화 데이터 파이프라인: 자료 선별, 편집 대상 합성, 5차원 자동 평가 및 수동 검수의 3단계를 통해 InsAVE-80K 데이터셋을 구축하여 쌍으로 구성된 학습 데이터 부족 문제를 해결합니다.

코드 복제: GitHub에서 InstructAV2AV 코드 저장소를 로컬로 복제합니다.
환경 설정: 저장소 안내에 따라 Python 환경을 구성하고 필요한 종속 항목을 설치합니다.
가중치 다운로드: Hugging Face에서 InstructAV2AV 모델 가중치를 다운로드합니다.
자료 준비: 음성이 포함된 비디오 자료를 입력으로 준비합니다.
지시문 입력: 수정하려는 내용을 설명하는 자연어 편집 지시문을 한 문장 입력합니다.
추론 실행: 추론 스크립트를 실행하고 모델이 편집된 비디오와 오디오를 생성할 때까지 기다립니다.
결과 저장: 출력 결과를 확인하고 편집이 완료된 음영상 파일을 저장합니다.

프로젝트 공식 웹사이트：https://hjzheng.net/projects/InstructAV2AV/
GitHub 저장소：https://github.com/suimuc/InstructAV2AV
HuggingFace 모델 저장소：https://huggingface.co/suimu/InstructAV2AV
arXiv 기술 논문：https://arxiv.org/pdf/2605.18467

영화·영상 후반 작업: 영화·영상 후반 작업자는 배우의 대사를 교체하고 립싱크를 동기화하여 재촬영 비용을 줄일 수 있습니다.
숏폼 제작: 숏폼 크리에이터는 한 문장으로 영상 속 인물과 음성을 수정하여 제작 효율을 높일 수 있습니다.
가상 인간: 가상 인간 운영 팀은 디지털 휴먼의 외형, 음색 및 말하는 내용을 조정할 수 있습니다.
광고 기획: 광고 업계 종사자는 다양한 인물과 대사 버전의 홍보 영상을 대량으로 생성할 수 있습니다.
인터랙티브 콘텐츠 제작: 게임 및 교육 분야 종사자는 음성과 영상이 일치하는 멀티미디어 자료를 동적으로 생성할 수 있습니다.