VeriSpoof 운영 중

VeriSpoof는 멜버른대학교가 공개한 오픈 소스 오디오 대형 모델로, 2.85B개의 파라미터를 단 29.7M개로 학습했습니다. VeriSpoof는 음성 위조 포렌식을 모델에 질문하는 방식으로 통합하며, 동일한 가중치로 진위 탐지, 시스템 추적, 동일 출처 검증, 채널 식별 및 검증 가능한 근거 기반 추론 탐지를 수행합니다. Speech-DF-Arena 통합 평가에서 EER 2.14%를 기록했으며, 28개 시스템 중 3위이자 오픈 소스 모델 중 1위입니다.

진위 탐지: 녹음이 실제 사람의 음성인지 AI 합성 음성인지 판단합니다. 점수는 '위조/실제 음성' 두 답변 문장의 로그 가능도 차이로 산출되며, Speech-DF-Arena 통합 EER은 2.14%로 오픈 소스 모델 중 1위입니다.
생성 시스템 추적: 후보 TTS/VC 시스템 중 구체적인 생성기를 식별하고, 음향 모델과 보코더의 두 계층으로 나누어 각각 판별할 수 있습니다. MLAAD에서 이미 확인된 생성기 12종의 분류 정확도는 96.8%입니다.
동일 출처 검증: 두 녹음이 동일한 생성 시스템에서 나온 것인지 판단합니다. 학습에서 보지 못한 생성기 쌍에 대한 EER은 6.2%로, 전용 탐지기의 고정 특성 위에 학습한 쌍별 프로브보다 77% 낮습니다.
녹음 조건 식별: 오디오의 잡음, 잔향 및 코덱 유형을 식별하며, Plus 버전의 정확도는 81.3%입니다.
검증 가능한 추론: 관측, 채널, 위치, 출처 프로필, 결론의 고정 필드에 따라 추론을 출력합니다. 각 행은 파형 측정 또는 데이터셋 주석과 대조해 검증할 수 있으며, 0.16초 단위로 위조 구간을 위치시킵니다. 이를 통해 국소 위조 검출률을 78.4%에서 99.6%로 높였습니다.

WeChat에서 팔로우 후 “开源”라고 답장하여 AI 오픈 소스 프로젝트交流群에 참여하세요.
이중 해상도 오디오 토크나이제이션: 인코더는 Qwen3-ASR-1.7B의 AuT 인코더를 사용합니다. 25개 층의 은닉 상태를 학습 가능한 가중치로 결합한 뒤 처음부터 학습한 오디오 토크나이저에 입력합니다. 토크나이저는 전역적으로 불변인 출처 정보를 담는 전체 문장 토큰 16개와 시간 정보를 보존하는 프레임 토큰 52개를 출력하며, 각 프레임 토큰은 0.16초에 해당합니다. 프레임 사이에는 0.8초마다 텍스트 시간 표지를 삽입하여 언어 모델이 위조 구간의 위치를 직접 '초' 단위로 말할 수 있게 합니다.
답변 자체를 점수로 사용: 언어 모델은 MiniCPM5-2B에 LoRA를 적용했으며, 모든 작업의 학습 목표는 다음 토큰 예측입니다. 작업 전용 분류 헤드는 사용하지 않습니다. 탐지 점수는 위조와 실제 음성 답변 문장의 로그 가능도 차이이고, 동일 출처 점수는 yes와 no의 차이이며, 객관식 문제는 각 후보 답변 문장에 점수를 매겨 최댓값을 선택합니다.
3단계 학습 방식: 지각 정렬 단계에서는 언어 모델을 고정하고 토크나이저와 인코더 DoRA만 학습하여 오디오 측이 먼저 위조 흔적을 담는 법을 익히게 합니다. 이후 언어 모델 LoRA를 추가해 생성기, 음향 모델, 보코더 및 세 계층의 쌍별 문제를 포함한 모든 포렌식 질문을 학습합니다. 마지막으로 더 낮은 학습률로 근거 기반 추론과 반사실 샘플을 추가하고, 2단계 문제를 함께 재생하여 한 번에 답하는 능력이 저하되지 않도록 합니다.
신호로 계산되는 추론 목표: 추론 텍스트는 고정 필드에 따라 작성합니다. 각 유형의 진술에는 모델과 무관한 검사기가 있습니다. 관측 행은 파형의 대역폭, SNR, 레벨 및 클리핑 측정값과 대조하고, 채널 행은 데이터 증강 시 기록된 조건과 대조하며, 위치 행은 데이터셋 주석과 대조하고, 출처 프로필은 생성기 메타데이터와 대조합니다. 반사실 샘플에서는 위치를 반대로 바꾸거나 새 구간을 삽입하여 결론도 그에 따라 뒤집히도록 요구합니다. 관련 없는 필드만 바꾼 경우 결론은 변하지 않아야 하므로, 학습 신호를 통해 결론이 '어디가 합성되었는가'에만 의존하도록 제약합니다.

코드 설치: hf download AustinXiao/VeriSpoof-Plus --include "code/*" --local-dir verispoof를 실행해 코드를 받은 다음, pip install ./verispoof/code를 실행하여 추론 패키지를 설치합니다.
모델 로드: Python에서 from verispoof import VeriSpoof를 실행한 뒤 model = VeriSpoof.from_pretrained("AustinXiao/VeriSpoof-Plus")로 로드합니다.
진위 탐지: model.detect("sample.wav")를 호출하면 레이블과 점수를 반환합니다. 탐지 점수와 토큰별 위치 정보는 한 번의 순전파만으로 얻을 수 있으며 텍스트 생성은 필요하지 않습니다.
검증 가능한 추론: model.explain("sample.wav")를 호출하면 추론 텍스트, 결론, 위치 구간 및 토큰별 합성 확률을 반환합니다. 전체 추론은 vLLM 백엔드로 배치 생성할 수 있으며, A100에서 항목당 약 0.05초가 걸립니다.
동일 출처 검증: model.same_source("a.wav", "b.wav", level="generator")를 호출하여 두 녹음이 동일한 출처인지 판단합니다. level은 acoustic_model 또는 vocoder로 설정할 수도 있습니다.
조건 식별 및 추적: model.condition("sample.wav", attr="codec")를 호출해 잡음, 잔향 또는 코덱을 식별하고, model.generator("sample.wav", ["XTTS-v2", "Bark", "VITS"])를 호출해 사용자 지정 후보 목록에서 생성 시스템을 식별합니다.

오픈 소스 모델 중 최고 수준의 탐지 성능: Speech-DF-Arena 통합 EER 2.14%로 28개 시스템 중 3위, 오픈 소스 가중치 중 1위를 기록했습니다. 동시에 저비용 재현 방법을 함께 제공하는 유일한 상위 시스템입니다.
5개 모델이 아닌 통합 아키텍처: 동일한 가중치로 탐지, 추적, 동일 출처 검증, 채널 식별 및 추론의 5가지 작업을 수행하며 작업 전용 분류 헤드가 없습니다.
점수가 곧 답변: 모든 평가 점수는 모델 답변 문장의 로그 가능도에서 직접 산출됩니다. '분류 헤드는 강력하지만 답변은 질문과 무관한' 불일치가 없으며, 사용자가 보는 결론이 바로 점수가 매겨진 출력입니다.
검증 가능한 추론, 생성식 날조가 아님: 추론은 고정 필드로 작성되고 각 행을 파형 측정값 또는 데이터셋 주석과 대조할 수 있습니다. 반사실 학습은 결론이 '어디가 합성되었는가'에 따라서만 바뀌도록 보장하며, 충실도는 최대 100%입니다.
엄격하게 검증된 일반화 능력: 보지 못한 생성기에 대한 동일 출처 판단 EER은 6.2%로 전용 쌍별 프로브보다 77% 낮습니다. 또한 보지 못한 생성기를 학습 데이터에서 통째로 제거했기 때문에 평가 프로토콜이 엄격합니다.

프로젝트 공식 사이트: https://swagshaw.github.io/verispoof/
GitHub 저장소: https://github.com/swagshaw/verispoof
HuggingFace 모델 컬렉션: https://huggingface.co/collections/AustinXiao/verispoof
arXiv 기술 논문: https://arxiv.org/pdf/2611.04634

미디어 및 소셜 플랫폼 검수: 사용자가 업로드한 오디오와 '음성 스크린샷'이 AI 합성인지 탐지하여, 복제 음성으로 만든 허위 콘텐츠를 차단하는 데 도움을 줍니다.
금융 및 전화 사기 방지: 고객센터 통화와 송금 지시 녹음이 실제 사람의 음성인지 확인하여, 음성 복제로 가족이나 고위 임원을 사칭하는 사기 상황을 예방합니다.
사법 포렌식 및 법 집행: 음성 증거 감정에서 각 행을 검증할 수 있는 추론 보고서를 제공하고, 위조 구간의 위치와 생성 시스템 단서를 제시하여 수동 검토를 지원합니다.
콜센터 신원 확인: 보관된 녹음과 실시간 통화가 동일한 출처인지, 실제 사람의 음성인지 판단하여 합성 음성이 음성 인증을 우회할 위험을 줄입니다.
연구 및 모델 평가: 오픈 소스 가중치 중 가장 강력한 탐지 기준선이자 통합 포렌식 모델로서, 연구자가 VeriSpoof-Bench를 사용해 자신의 모델을 평가하고 통제된 비교 실험을 수행할 수 있습니다.