動画に字幕を付けるのは、以前はかなり面倒な作業でした。
難しいのではなく、とにかく手間がかかるのです。
動画を撮り終えて字幕を追加するには、まず音声をテキストに変換します。どんなツールを使っても、変換後は句読点も改行もない、ひと続きの長い文章になってしまいます。
その後は手作業で調整します。どこで文を区切るか、どこで改行するか、名前の認識ミスをどこで修正するか、といった作業です。
さらに他の言語へ翻訳するなら、もっと大変です。1文ずつ原文と照らし合わせて翻訳し、翻訳が終わった後はタイムラインにも合わせなければなりません。
10分の動画でも、字幕を付けるだけで1〜2時間かかることがあります。
そんな中、無料で使えるオープンソースツールを見つけました。
使い方はとても簡単です。動画をドラッグ＆ドロップして、言語を選び、開始ボタンをクリックするだけ。
あとは残りの作業をすべて自動でやってくれます。
音声認識、スマートな文区切り、誤字の修正、専門用語の統一、他言語への翻訳、字幕ファイルの生成まで対応しています。
すべて全自動です。
しかも処理が速いです。14分の動画なら、4分ほどで処理が完了します。
コストも非常に低く、公式によれば1円未満です。
音声認識にはWhisperを使用しており、正確度は95％以上。中国語、英語、日本語、韓国語、フランス語、ドイツ語を含む99言語を認識できます。
文の区切りには大規模言語モデルを使用しています。単純に無音の長さで分割するのではなく、意味を理解したうえで区切るため、生成される字幕も「今日 私は すごく 楽しい場所に 行った」のような不自然なものではなく、「今日はとても楽しい場所に行った」のように自然になります。
よくある認識ミスも自動で修正してくれます。専門用語や珍しい人名など、音声認識だけでは間違いやすいものも、文を区切る際に修正してくれます。
多言語字幕が必要な場合は、37言語への翻訳に対応しています。翻訳にも大規模言語モデルを使っているため、機械翻訳特有の不自然さは少なく、文脈を踏まえた自然で読みやすい翻訳になります。
出力形式はSRT、ASS、VTTに対応しています。一般的な字幕フォーマットはほぼ網羅されています。
もう一つ、細かい点ですが、よくできていると感じた機能があります。字幕スタイルのテンプレートがいくつか内蔵されており、解説風、ニュース風、アニメ風から選べます。動画制作でさまざまな見た目が必要な場合も、テンプレートを適用するだけで、自分でスタイルを調整する必要がありません。特にアニメ風字幕は、縁取りと影が付いた日本のアニメらしいスタイルで、二次元コンテンツにそのまま使えます。
しかも完全にローカルで動作します。動画をサーバーにアップロードする必要はなく、すべての処理を自分のパソコン上で完了できます。データのプライバシーも安心です。オンラインの字幕ツールの多くは動画のアップロードが必要で、元動画を他人のサーバーに送ることを気にする人もいるでしょう。このツールならその必要はなく、ローカルで処理してローカルにファイルを出力できます。
ハードウェア要件も高くありません。高価なグラフィックボードは不要で、CPUだけでも動作します。独立GPUがあればより高速ですが、CPUのみでも問題なく処理できます。私も一般的なノートパソコンで試しましたが、10分の動画なら6〜7分ほどで結果が出ました。十分実用的な速度です。
一括処理モードもあります。複数の動画を一度にドラッグ＆ドロップすると、順番に自動処理してくれます。処理後は字幕ファイルをまとめて書き出せます。シリーズ動画を制作している人にとって、繰り返し作業を大幅に減らせる便利な機能です。
ショート動画、オンライン講座、多言語コンテンツを制作している人など、幅広くおすすめできます。字幕を扱う機会が多いなら、ぜひ検索してみてください。無料のオープンソースで費用はかかりません。入手先は1つ目がGitHub、2つ目が公式サイトです。
オープンソース：github.com/WEIFENG2333/VideoCaptioner