WeVisCut 운영 중

WeVisCut은 Tencent WeChat Vision이 오픈 소스로 공개한 장편 동영상 자동 편집 Agent입니다. 내레이션 스크립트를 입력하면 하나의 9B 소형 모델 정책이 공유 제작 상태 런타임을 활용해 스토리보드, 더빙, 소재 검색, 합성 및 품질 검사와 복구를 자동으로 수행하고, 수 분 길이의 완성 영상을 바로 출력합니다. WeVisCut은 편집 역산 + 검증 리플레이 파이프라인을 사용해 3,750개의 완성 영상에서 13만 개가 넘는 학습 데이터를 복원했습니다. 평가에서 Claude Opus 5와 비슷한 성능을 보였으며, 생성 토큰을 약 33배 절약하고 분당 완성 영상 비용을 $0.09까지 낮췄습니다.

스크립트에서 장편 동영상으로: 내레이션/지식 콘텐츠 스크립트를 입력하면 사람의 스토리보드 작업 없이 수 분 길이의 완성 영상을 자동으로 출력합니다.
단일 정책의 전체 파이프라인 의사결정: 하나의 9B 모델이 오케스트레이터, 생성기, 비평가의 세 역할을 맡아 다단계 Agent 워크플로를 대체합니다.
공유 제작 상태: harness가 장면, 소재, 타임라인 등의 상태를 지속적으로 저장하며, 이전 단계의 도구 결과가 다음 단계의 의사결정을 직접 제약합니다.
폐쇄 루프 품질 검사 및 복구: 정책이 완성 영상을 자동으로 검사하고 실패를 찾아 제한된 범위에서 부분적으로 복구하며, 이미 성공한 부분은 다시 처리하지 않습니다.
감독과의 대화형 편집: 첫 번째 완성 영상 이후 채팅으로 소재를 교체하고, 음악을 변경하고, 자막을 조정할 수 있으며, 정책이 필요한 부분만 다시 계획하고 납품합니다.
편집 가능한 타임라인 제공: Studio 런타임이 8트랙 타임라인을 제공하며, 장면별 재렌더링과 버전 롤백을 지원합니다.
저비용 프라이빗 배포: 성공적으로 출력된 영상 1분당 약 $0.09, 벽시계 시간 2.1분만 소요되며, 9B 가중치를 오픈 소스로 제공해 로컬 배포가 가능합니다.

WeChat에서 “오픈 소스”를 팔로우 메시지로 보내 AI 오픈 소스 프로젝트 교류 그룹에 참여하세요.
문제 정의: 긴 제작 파이프라인의 상태 관리. 장편 동영상 스크립트를 영상으로 변환할 때는 소재 선택, 도구 실행, 복구 의사결정이 서로 의존하므로 각 장면이 부분적으로 올바르다고 해서 전체 영상의 리듬이 보장되지는 않습니다. 이를 여러 범용 Agent 단계로 나누면 각 단계에서 전체 컨텍스트를 다시 직렬화해야 하므로 토큰 및 호출 비용이 장면 수에 따라 선형적으로 증가합니다. WeVisCut의 핵심 아이디어는 하나의 9B 정책으로 전체 제작 상태를 유지해 ‘전체를 이해하는 작업’을 매 단계 반복하는 대신 지속적으로 한 번 수행하는 것입니다.
상태 기반 Harness: 공유 제작 상태. Runtime은 영속적인 production state를 유지하며, 검증을 통과한 도구 결과만 상태에 기록합니다. 정책은 매번 하나의 도구 호출만 전송하고 현재 상태에서 유효한 동작을 선택합니다. 유효하지 않은 호출은 유형화된 blocker가 거부하여, 의존성을 먼저 보완한 뒤 재시도하도록 강제합니다. 상태와 모델 컨텍스트를 분리하므로 정책이 전체 이력을 반복해서 전달할 필요가 없습니다.
단일 정책의 세 역할: 공유 파라미터를 사용하는 정책 하나가 역할 라우팅을 통해 오케스트레이터, 생성기, 비평가 역할을 수행합니다. 행동 공간은 12개 도구로 고정되어 있으며 하드코딩된 단계 머신은 없습니다. 전체 궤적은 정책이 자율적으로 결정하고, 가드레일은 유효하지 않은 호출만 차단합니다.
학습 데이터: Editing Inversion + Verified Replay. 완성 영상은 결과만 보여주고 편집 의도를 드러내지 않으므로, 저자는 4단계 파이프라인으로 감독 데이터를 복원합니다. 먼저 완성 영상에서 스크립트와 장면 의도를 역추론한 뒤 runtime에서 재생해 실행 가능성을 검증합니다. 리플레이에서 결함이 드러나면 제한된 범위에서 복구하고 성공한 산출물을 보존합니다. 마지막으로 실행 기록을 도구 피드백이 포함된 학습 사례로 구체화합니다. 3,750개의 완성 영상이 134,771개의 실행 가능한 감독 데이터로 변환되었으며, 이를 통해 모델이 실패 후 복구하는 방법을 학습합니다.
3단계 학습: 통합 SFT와 runtime 검증을 적용한 RFT로 도구 사용 및 복구 행동을 초기화합니다. Guided-OPD는 교사의 개입을 도입해 복구 의사결정을 학습시키고, 학습이 진행될수록 개입을 점진적으로 줄입니다. RCF-DAPO는 동일한 역할과 동일한 제작 컨텍스트 내에서 후보 출력을 비교해 의사결정 품질을 최적화합니다. 3단계를 거쳐 Overall 점수가 기반 모델의 74.5에서 90.5로 향상되었습니다.

코드 받기: GitHub에서 저장소를 클론합니다: github.com/Tencent/WeVisCut.
환경 준비: 저장소 설명에 따라 Studio 런타임과 의존성을 설치합니다.
모델 다운로드: HuggingFace에서 tencent/WeVisCut의 9B 가중치를 가져옵니다.
서비스 시작: 시작 스크립트를 실행해 정책과 도구 레지스트리를 로드하고 Studio 웹 인터페이스를 엽니다.
스크립트 입력: 인터페이스에 내레이션/지식 콘텐츠 장문 스크립트를 붙여넣거나 업로드합니다.
제작 과정 확인: Agent가 자동으로 챕터 분할, 스토리보드 작성, 더빙, 소재 검색을 수행하고 타임라인을 실시간으로 구성하며, 전체 과정을 확인할 수 있습니다.
대화형 수정: 첫 번째 완성 영상 이후 감독 채팅 창에서 수정 사항을 요청하면 필요한 부분만 다시 납품합니다.
완성 영상 내보내기: 타임라인 인터페이스에서 장면별로 확인한 뒤 최종 영상을 내보내거나, 필요에 따라 버전을 롤백해 다시 렌더링합니다.

매우 낮은 비용: 성공적으로 출력된 동영상 1분당 생성 토큰 2,377개와 $0.09만 필요하며, 9B 소형 모델을 프라이빗 환경에 배포할 수 있습니다.
안정적인 납품: 5개 지표의 Overall 점수가 기반 모델보다 16점 높은 90.5이며, 계획 달성률, 장거리 일관성, 렌더링 산출률에서 모두 앞섭니다.
하나의 정책으로 전체 과정 관리: 단일 9B 모델이 오케스트레이션/생성/비평의 세 역할을 맡아 다단계 Agent 워크플로를 대체하고 컨텍스트를 반복적으로 재구성하는 문제를 피합니다.
지속적인 상태 관리: 공유 제작 상태를 통해 이전 단계의 도구 결과가 다음 단계의 의사결정을 직접 제약하므로, 긴 파이프라인에서도 흐름을 잃거나 전체를 반복해서 이해하지 않습니다.
자체 복구: 학습 데이터에 실패 복구 궤적이 포함되어 있어 정책이 품질을 검사하고 문제를 찾아 제한된 범위에서 부분적으로 복구하며, 이미 성공한 부분은 보존합니다.
대화형 편집: 완성 영상 이후 자연어 대화로 수정할 수 있으며, 필요한 부분만 다시 계획하고 재촬영하지 않습니다.

프로젝트 공식 사이트: https://tencent.github.io/WeVisCut/
GitHub 저장소: https://github.com/Tencent/WeVisCut
HuggingFace 모델 저장소: https://huggingface.co/tencent/WeVisCut
arXiv 기술 논문: https://arxiv.org/pdf/2610.38352

지식 및 과학 상식 영상 대량 제작: 과학 상식 장문이나 내레이션 스크립트를 수 분 길이의 설명 영상으로 자동 변환하여 MCN 및 1인 미디어의 일일 콘텐츠 제작에 적합합니다.
기업 교육 및 강의 제작: 교육 자료와 강의안 내레이션을 빠르게 영상으로 제작해 사내 교육 영상 외주 비용을 줄입니다.
뉴스 및 정보 시각화: 금융·기술 정보 스크립트에 자동으로 이미지와 음악을 추가해 완성 영상으로 만들며, 빠른 게시가 필요한 정보 콘텐츠 계정에 적합합니다.
마케팅 및 제품 설명: 제품 카피로 홍보 영상 초안을 한 번에 생성한 뒤, 마케팅 담당자가 대화 방식으로 소재와 스타일을 세밀하게 조정할 수 있습니다.
다국어 콘텐츠의 해외 진출: 스크립트를 번역한 뒤 더빙과 자막 버전을 바로 다시 생성해 동일한 제작 파이프라인을 대량으로 재사용할 수 있습니다.