VeriSpoof 運営中

VeriSpoofはメルボルン大学が公開したオープンソースの音声大規模モデルで、2.85Bパラメータをわずか29.7Mで学習しています。VeriSpoofは音声偽造フォレンジックをモデルへの質問に統一し、同一の重みで真偽検出、システム追跡、同一ソース検証、チャネル識別、検証可能で根拠に基づく推論検出を実現します。Speech-DF-Arenaの統合EERは2.14%で、28システム中3位、オープンソースでは1位です。

真偽検出：録音が人間の音声かAI合成音声かを判定します。スコアは「偽造」「真人」という2つの回答文の対数尤度差から算出され、Speech-DF-Arenaの統合EERは2.14%、オープンソースでは1位です。
生成システムの追跡：候補となるTTS/VCシステムから具体的な生成器を特定し、音響モデル、ボコーダーの3つの階層に分けて判定できます。MLAADでは既知の生成器12分類で正解率96.8%を達成しています。
同一ソース検証：2つの録音が同じ生成システムに由来するかを判定します。学習時に見ていない生成器の組み合わせに対するEERは6.2%で、専用検出器の凍結特徴量上で学習したペア検出器より77%低い値です。
録音条件の識別：音声に含まれるノイズ、残響、コーデックの種類を識別します。Plus版の正解率は81.3%です。
検証可能な推論：観測、チャネル、位置特定、出所プロファイル、結論という固定フィールドで推論を出力します。各行は波形測定またはデータセットのアノテーションと照合して検証でき、0.16秒単位で偽造区間を特定します。局所的な偽造の検出率は78.4%から99.6%に向上します。

WeChatでフォローして「オープンソース」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます。
二重解像度音声トークナイズ：エンコーダーにはQwen3-ASR-1.7BのAuTエンコーダーを採用します。25層の隠れ状態を学習可能な重みで加重融合し、ゼロから学習した音声トークナイザーに入力します。トークナイザーは、グローバルで不変な出所情報を担う16個の文全体トークンと、各0.16秒に対応して時間情報を保持する52個のフレームトークンを出力します。フレーム間には0.8秒ごとにテキストの時間マーカーを挿入し、言語モデルが「秒」単位で偽造区間の位置を直接示せるようにします。
回答そのものをスコアにする：言語モデルにはMiniCPM5-2BとLoRAを使用します。すべてのタスクの学習目標は次のトークン予測であり、タスク専用の分類ヘッドはありません。検出スコアは偽造と真人の回答文の対数尤度差、同一ソーススコアはyesとnoの差です。多肢選択問題では、各候補回答文を採点して最大値を取ります。
3段階の学習レシピ：知覚アライメント段階では言語モデルを凍結し、トークナイザーとエンコーダーのDoRAのみを学習します。これにより音声側がまず偽造痕跡を保持できるようにします。次に言語モデルのLoRA学習を加え、生成器、音響モデル、ボコーダー、および3階層のペアリング問題を含むすべてのフォレンジック質問を学習します。最後に、より低い学習率で根拠に基づく推論と反実仮想サンプルを加えます。同時に第2段階の問題をリプレイし、1回の回答能力が低下しないようにします。
信号から計算される推論目標：推論テキストは固定フィールドで記述し、各種の記述に対してモデルに依存しないチェッカーを用意します。観測行は波形上の帯域幅、SNR、レベル、クリッピング測定と照合し、チャネル行はデータ拡張時に記録された条件と照合します。位置特定行はデータセットのアノテーション、出所プロファイルは生成器のメタデータと照合します。反実仮想サンプルでは位置を反対に変更するか新しい区間を挿入し、それに応じて結論を反転させます。無関係なフィールドだけを変更した場合、結論は変わらなければなりません。これにより、学習信号の段階で結論が「どこが合成されたか」のみに依存するよう制約します。

コードのインストール：hf download AustinXiao/VeriSpoof-Plus --include "code/*" --local-dir verispoofを実行してコードを取得し、続いてpip install ./verispoof/codeを実行して推論パッケージをインストールします。
モデルの読み込み：Pythonでfrom verispoof import VeriSpoofを実行し、その後model = VeriSpoof.from_pretrained("AustinXiao/VeriSpoof-Plus")で読み込みます。
真偽検出：model.detect("sample.wav")を呼び出すと、ラベルとスコアが返ります。検出スコアとトークン単位の位置特定は1回のフォワード処理で取得でき、テキスト生成は不要です。
検証可能な推論：model.explain("sample.wav")を呼び出すと、推論テキスト、結論、位置特定された区間、トークン単位の合成確率が返ります。完全な推論はvLLMバックエンドでバッチ生成でき、A100では1件あたり約0.05秒です。
同一ソース検証：model.same_source("a.wav", "b.wav", level="generator")を呼び出すと、2つの録音が同一ソースかを判定できます。levelにはacoustic_modelまたはvocoderも指定できます。
条件識別と追跡：model.condition("sample.wav", attr="codec")でノイズ、残響、コーデックを識別し、model.generator("sample.wav", ["XTTS-v2", "Bark", "VITS"])でカスタム候補リストから生成システムを特定します。

オープンソースで最高の検出性能：Speech-DF-Arenaの統合EERは2.14%で、28システム中3位、オープンソースの重みでは1位です。同時に、低コストで再現できるレシピを備えた唯一の上位システムです。
5つのモデルではなく統一アーキテクチャ：同一の重みで検出、追跡、同一ソース検証、チャネル識別、推論の5種類のタスクを実行し、タスク専用の分類ヘッドはありません。
スコアは回答そのもの：すべての評価スコアはモデルの回答文の対数尤度から直接算出されます。「分類ヘッドは強いのに回答は的外れ」という乖離がなく、ユーザーが見る結論はそのまま採点された出力です。
検証可能な推論であり、生成による捏造ではない：推論は固定フィールドで記述され、各行を波形測定またはデータセットのアノテーションと照合できます。反実仮想学習により、結論は「どこが合成されたか」に応じてのみ反転します。忠実度は最大100%です。
厳密に検証された汎化性能：未知の生成器に対する同一ソース判定のEERは6.2%で、専用ペア検出器より77%低い値です。さらに、未知の生成器は学習データから完全に除外されており、評価プロトコルもクリーンです。

公式サイト：https://swagshaw.github.io/verispoof/
GitHubリポジトリ：https://github.com/swagshaw/verispoof
HuggingFaceモデルコレクション：https://huggingface.co/collections/AustinXiao/verispoof
arXiv技術論文：https://arxiv.org/pdf/2611.04634

メディア・ソーシャルプラットフォームの審査：ユーザーがアップロードした音声や「音声スクリーンショット」がAI合成かを検出し、クローン音声による偽情報の拡散防止を支援します。
金融・電話詐欺対策：カスタマーサービスへの着信や送金指示の録音が真人によるものかを確認し、音声クローンで親族や幹部になりすます詐欺を防ぎます。
司法鑑定・法執行：音声証拠の鑑定で、行単位で検証可能な推論レポートを提供します。偽造区間の位置や生成システムの手がかりを示し、人的な再確認を支援します。
コールセンターの本人確認：保存された録音とリアルタイム通話が同一ソースか、真人によるものかを判定し、合成音声による音声認証突破のリスクを低減します。
研究・モデル評価：オープンソースの重みを持つ最強クラスの検出ベースラインおよび統一フォレンジックモデルとして、研究者がVeriSpoof-Benchで自らのモデルを評価し、統制された比較実験を行うために利用できます。