SmartSub – 오픈 소스 올인원 오디오·비디오 자막 처리 데스크톱 도구 운영 중

SmartSub(妙幕)는 오픈 소스 올인원 오디오·비디오 자막 처리 데스크톱 도구입니다. 전체 작업 과정을 하나의 애플리케이션으로 통합했으며, Whisper, FunASR, Qwen3-ASR 등의 로컬 모델을 기반으로 오프라인 음성 인식을 지원합니다. 20가지 이상의 번역 서비스와 다중 화자 AI 더빙을 제공하며, SmartSub에는 Bilibili, YouTube 등 플랫폼과 호환되는 온라인 동영상 다운로더가 내장되어 있습니다. NVIDIA CUDA, Apple Core ML 등의 하드웨어 가속을 지원하며 Windows, macOS, Linux 세 플랫폼에서 로컬로 실행됩니다.

WeChat에서 팔로우한 후 “오픈 소스”라고 답장하여 AI 오픈 소스 프로젝트 교류 그룹에 참여하세요.
음성 인식: whisper.cpp, FunASR, Qwen3-ASR 등 6가지 로컬 엔진을 기반으로 오프라인 인식을 수행하며, 다국어 자동 감지와 일괄 처리를 지원합니다.
자막 번역: 20개 이상의 번역 서비스(DeepSeek, Ollama, 통이치엔원 등)를 연동하여 번역문만 출력하거나 원문+번역문 이중 언어 자막을 생성합니다.
AI 교정: 시각화된 교정 패널을 내장하여 동영상 재생 중 자막 위치를 자동으로 동기화합니다. 문장별 수정, AI 원클릭 다듬기, 참고 원고와의 정렬을 지원합니다.
TTS 더빙: 로컬 Kokoro/VITS 오프라인 합성을 지원하며, ZipVoice 제로샷 음성 복제, 다중 화자 음색 배정, 화자 인식을 제공합니다.
자막 삽입: 하드 자막은 화면에 직접 렌더링하고, 소프트 자막은 MKV에 무손실로 패키징합니다. 글꼴, 색상, 위치 등의 스타일을 실시간으로 미리 볼 수 있습니다.
온라인 다운로드: yt-dlp / lux 이중 엔진을 내장하여 Bilibili, YouTube 등의 링크를 붙여 넣으면 동영상과 공식 자막을 일괄 다운로드할 수 있습니다.
사용자 지정 작업 흐름: 인식, 번역, 교정, 더빙, 합성 등의 단계를 자유롭게 조합하고 레시피로 저장하여 원클릭으로 재사용할 수 있습니다.

다운로드 및 설치: GitHub Releases에서 해당 운영 체제 버전(Windows/macOS/Linux)을 선택해 설치합니다. macOS에서는 brew install --cask smartsub을 사용할 수 있습니다.
모델 다운로드: 처음 실행할 때 「엔진 및 모델」 페이지에서 음성 인식 모델을 선택하고 다운로드합니다.
번역 설정: 「설정 → 번역 서비스」로 이동하여 엔진을 선택하고 API Key를 입력합니다.
작업 생성: 런처에서 동영상→더빙 완성본 등의 사전 설정 카드를 선택하거나, 사용자 지정 작업 흐름으로 목표를 조합합니다.
파일 추가: 로컬 동영상/오디오를 작업 카드로 드래그하거나 Bilibili/YouTube 링크를 붙여 넣어 자동으로 다운로드합니다.
매개변수 조정: 인식 엔진, 대상 언어, 이중 언어 자막 여부, 더빙 음색 및 자막 스타일을 선택합니다.
처리 시작: 「작업 시작」을 클릭하면 애플리케이션이 인식→번역→교정→더빙→합성 과정을 자동으로 실행합니다.
교정 및 내보내기: 교정 패널에서 문장별로 확인하고 수정한 후, 자막 또는 더빙이 포함된 완성 동영상을 내보냅니다.

전체 과정의 로컬 완결: 인식, 번역(Ollama), 더빙, 자막 삽입을 모두 오프라인으로 처리할 수 있습니다.
자유로운 엔진 전환: 6가지 인식 엔진 + 20개 이상의 번역 서비스 + 5가지 더빙 방식을 지원하여 언어와 하드웨어 조건에 따라 유연하게 조합할 수 있습니다.
폭넓은 하드웨어 가속: NVIDIA CUDA, AMD/Intel Vulkan, Apple Core ML/Metal을 모두 지원하며, 애플리케이션에서 가속 패키지를 원클릭으로 설치할 수 있습니다.
비용 없이 전체 과정 실행: 로컬 모델 + 내장 무료 번역 + 로컬 TTS를 사용하여 유료 API 없이 전체 작업 흐름을 이용할 수 있습니다.
다중 화자 더빙: v3.7.0은 화자 인식과 역할별 일괄 음색 배정을 지원하며, 개별 문장의 음색도 별도로 덮어쓸 수 있습니다.

프로젝트 공식 웹사이트：https://smartsub.linxiaodong.com/
GitHub 저장소：https://github.com/buxuku/SmartSub

외국어 동영상 현지화: 자막이 없는 공개 강의와 다큐멘터리를 인식하고 이중 언어 자막으로 번역하거나, 직접 더빙하여 중국어/외국어 음성 트랙을 제작하고 해외에 배포할 수 있습니다.
팟캐스트 및 회의 정리: 긴 오디오를 일괄적으로 SRT 텍스트로 변환하여 콘텐츠 검색, 편집 소재 또는 문서 보관에 활용할 수 있습니다.
크리에이터 자막 제작: Bilibili/YouTube 동영상에 정밀 교정 자막을 빠르게 생성하고 삽입할 수 있으며, 여러 플랫폼의 스타일 프리셋을 지원합니다.
온라인 교육 자료: 교육 동영상에 다국어 더빙과 이중 언어 자막을 추가하고, 음성 복제로 강사의 음색을 일관되게 유지할 수 있습니다.
영상 2차 창작 및 번역 제작: 온라인 동영상을 다운로드한 후 공식 자막을 자동으로 매칭하고, 번역 및 교정을 거쳐 하드 자막으로 삽입하거나 소프트 자막으로 패키징하여 게시할 수 있습니다.