SmartSub – オープンソースのオールインワン音声・動画字幕処理デスクトップツール 運営中

SmartSub（妙幕）は、オープンソースのオールインワン音声・動画字幕処理デスクトップツールです。音声・動画処理の全工程を1つのアプリに統合し、Whisper、FunASR、Qwen3-ASRなどのローカルモデルによるオフライン音声認識に対応。20種類以上の翻訳サービスと、複数話者によるAI音声合成を利用できます。SmartSubはオンライン動画ダウンローダーを内蔵し、Bilibili、YouTubeなどのプラットフォームに対応。NVIDIA CUDA、Apple Core MLなどのハードウェアアクセラレーションをサポートし、Windows、macOS、Linuxの3つのプラットフォームでローカル実行できます。

WeChatでフォローして「開源」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます
音声認識：whisper.cpp、FunASR、Qwen3-ASRなど6種類の主要なローカルエンジンによるオフライン認識に対応。多言語の自動検出と一括処理が可能です。
字幕翻訳：20種類以上の翻訳サービス（DeepSeek、Ollama、通義千問などを含む）に対応し、翻訳文のみ、または原文＋翻訳文の二言語字幕を出力できます。
AI校正：ビジュアル校正パネルを内蔵。動画再生中は字幕の位置を自動的に同期し、文ごとの修正、AIによるワンクリック推敲、参考原稿との位置合わせに対応します。
TTS音声合成：Kokoro/VITSによるローカル・オフライン合成に対応。ZipVoiceのゼロショット音声クローン、複数話者への音色割り当て、話者認識を利用できます。
字幕焼き付け：ハード字幕を映像に直接レンダリングし、ソフト字幕はMKVに無劣化で格納できます。フォント、色、位置などのスタイルをリアルタイムでプレビューできます。
オンラインダウンロード：yt-dlp / luxのデュアルエンジンを内蔵。Bilibili、YouTubeなどのリンクを貼り付けるだけで、動画と公式字幕を一括ダウンロードできます。
カスタムワークフロー：音声認識、翻訳、校正、音声合成、書き出しなどの手順を自由に組み合わせ、レシピとして保存してワンクリックで再利用できます。

ダウンロードとインストール：GitHub Releasesから対応するシステム版（Windows/macOS/Linux）を選んでインストールします。macOSでは brew install --cask smartsub も利用できます。
モデルのダウンロード：初回起動時に「エンジンとモデル」ページで音声認識モデルを選択してダウンロードします。
翻訳の設定：「設定 → 翻訳サービス」に移動し、エンジンを選択してAPI Keyを入力します。
タスクの作成：ランチャーで「動画→音声付き動画」などのプリセットカードを選択するか、カスタムワークフローで目的に合わせて手順を組み合わせます。
ファイルの追加：ローカルの動画・音声ファイルをタスクカードにドラッグするか、Bilibili/YouTubeのリンクを貼り付けると自動的にダウンロードできます。
パラメータの調整：音声認識エンジン、対象言語、二言語字幕の有無、音声の種類、字幕スタイルを選択します。
処理の開始：「タスクを開始」をクリックすると、アプリが音声認識→翻訳→校正→音声合成→書き出しのワークフローを自動実行します。
校正と出力：校正パネルで文ごとに確認・修正し、完了後に字幕または音声付きの完成動画を書き出します。

全工程をローカルで完結：音声認識、翻訳（Ollama）、音声合成、字幕焼き付けをすべてオフラインで実行できます。
エンジンを自由に切り替え：6種類の音声認識エンジン＋20種類以上の翻訳サービス＋5種類の音声合成方式に対応。言語や利用環境、ハードウェアに応じて柔軟に組み合わせられます。
ハードウェアアクセラレーションを幅広くサポート：NVIDIA CUDA、AMD/Intel Vulkan、Apple Core ML/Metalに対応し、アプリ内からワンクリックでアクセラレーションパッケージをインストールできます。
無料で一連の処理を実行：ローカルモデル＋内蔵無料翻訳＋ローカルTTSにより、有料APIなしでワークフロー全体を利用できます。
複数話者の音声合成：v3.7.0では話者認識と、役割ごとの音声一括割り当てに対応。文ごとに個別設定を上書きすることもできます。

プロジェクト公式サイト：https://smartsub.linxiaodong.com/
GitHubリポジトリ：https://github.com/buxuku/SmartSub

外国語動画のローカライズ：字幕のない公開講座やドキュメンタリーを文字起こしして二言語字幕に翻訳したり、中国語・外国語の音声トラックを付けて海外向けに展開したりできます。
ポッドキャスト・会議の整理：長時間音声を一括でSRTテキストに変換し、コンテンツ検索、編集素材、文字アーカイブに活用できます。
動画配信者向け字幕制作：Bilibili/YouTube動画の高精度な字幕をすばやく生成して焼き付けられます。複数プラットフォーム向けのスタイルプリセットにも対応します。
オンライン教育教材：教材動画に多言語音声と二言語字幕を追加できます。音声クローンにより講師の声質を一貫して保てます。
映像作品の二次創作・翻訳：オンライン動画をダウンロードした後、公式字幕を自動的に対応付け、翻訳・推敲してハード字幕として焼き付けるか、ソフト字幕として格納して公開できます。