VeriSpoof Đang hoạt động

VeriSpoof là mô hình âm thanh lớn mã nguồn mở do Đại học Melbourne phát triển, với 2,85B tham số nhưng chỉ được huấn luyện trên 29,7M mẫu. VeriSpoof thống nhất việc giám định giả mạo giọng nói thành hình thức đặt câu hỏi cho mô hình; cùng một bộ trọng số thực hiện phát hiện thật giả, truy nguyên hệ thống, xác minh cùng nguồn, nhận diện kênh và phát hiện suy luận có căn cứ, có thể kiểm chứng. Trên Speech-DF-Arena, EER gộp đạt 2,14%, đứng thứ ba trong 28 hệ thống và đứng đầu trong các hệ thống mã nguồn mở.

Phát hiện thật giả: xác định bản ghi âm là giọng người thật hay giọng tổng hợp bằng AI. Điểm số được tính từ chênh lệch log-likelihood giữa hai câu trả lời “giả mạo/người thật”; EER gộp trên Speech-DF-Arena là 2,14%, đứng đầu trong các hệ thống mã nguồn mở.
Truy nguyên hệ thống tạo: nhận diện bộ tạo cụ thể trong các hệ thống TTS/VC ứng viên, đồng thời có thể tách thành ba cấp độ gồm mô hình âm học, bộ mã hóa-và-giải mã âm thanh để phán đoán riêng; độ chính xác phân loại 12 bộ tạo đã xuất hiện trong MLAAD đạt 96,8%.
Xác minh cùng nguồn: xác định hai bản ghi âm có xuất phát từ cùng một hệ thống tạo hay không. Với các cặp bộ tạo chưa xuất hiện trong quá trình huấn luyện, EER đạt 6,2%, thấp hơn 77% so với bộ dò cặp được huấn luyện trên các đặc trưng cố định của bộ dò chuyên dụng.
Nhận diện điều kiện ghi âm: nhận diện loại nhiễu, tiếng vang và codec trong âm thanh; độ chính xác của phiên bản Plus đạt 81,3%.
Suy luận có thể kiểm chứng: xuất suy luận theo các trường cố định gồm quan sát, kênh, định vị, hồ sơ nguồn và kết luận. Mỗi dòng có thể đối chiếu với phép đo dạng sóng hoặc nhãn tập dữ liệu để kiểm chứng, đồng thời cung cấp vị trí đoạn giả mạo theo từng 0,16 giây, nâng tỷ lệ phát hiện giả mạo cục bộ từ 78,4% lên 99,6%.

Theo dõi WeChat và trả lời “mã nguồn mở” để tham gia nhóm trao đổi dự án AI mã nguồn mở
Phân token âm thanh đa độ phân giải: bộ mã hóa sử dụng bộ mã hóa AuT của Qwen3-ASR-1.7B. 25 lớp trạng thái ẩn được hợp nhất bằng trọng số có thể học, sau đó đưa vào bộ phân token âm thanh được huấn luyện từ đầu; bộ phân token xuất 16 token toàn câu mang thông tin nguồn bất biến ở cấp độ toàn cục và 52 token khung, mỗi token tương ứng với 0,16 giây để giữ lại thông tin thời gian. Cứ mỗi 0,8 giây giữa các khung lại chèn một dấu thời gian văn bản, giúp mô hình ngôn ngữ có thể trực tiếp nêu vị trí đoạn giả mạo theo đơn vị “giây”.
Dùng chính câu trả lời làm điểm số: mô hình ngôn ngữ là MiniCPM5-2B kết hợp LoRA; mục tiêu huấn luyện của mọi tác vụ đều là dự đoán token tiếp theo, không có đầu phân loại chuyên dụng cho từng tác vụ. Điểm phát hiện là chênh lệch log-likelihood giữa câu trả lời giả mạo và người thật; điểm cùng nguồn là chênh lệch giữa yes và no; với câu hỏi nhiều lựa chọn, mô hình chấm điểm từng câu trả lời ứng viên và lấy giá trị lớn nhất.
Công thức huấn luyện ba giai đoạn: trong giai đoạn căn chỉnh cảm nhận, đóng băng mô hình ngôn ngữ, chỉ huấn luyện bộ phân token và DoRA của bộ mã hóa để phía âm thanh trước hết học cách mang dấu vết giả mạo. Sau đó bổ sung LoRA cho mô hình ngôn ngữ và huấn luyện toàn bộ câu hỏi giám định, gồm bộ tạo, mô hình âm học, bộ mã hóa-và-giải mã âm thanh cùng các câu hỏi ghép cặp ở cả ba cấp độ. Cuối cùng, với tốc độ học thấp hơn, bổ sung suy luận có căn cứ và các mẫu phản thực tế, đồng thời phát lại các câu hỏi của giai đoạn hai để bảo đảm năng lực trả lời một bước không bị suy giảm.
Mục tiêu suy luận được tính từ tín hiệu: văn bản suy luận được viết theo các trường cố định; mỗi loại phát biểu đều có bộ kiểm tra độc lập với mô hình. Dòng quan sát đối chiếu với các phép đo băng thông, SNR, mức tín hiệu và clipping trên dạng sóng; dòng kênh đối chiếu với điều kiện được ghi lại khi tăng cường dữ liệu; dòng định vị đối chiếu với nhãn tập dữ liệu; hồ sơ nguồn đối chiếu với siêu dữ liệu của bộ tạo. Các mẫu phản thực tế thay đổi vị trí thành ngược lại hoặc chèn đoạn mới, yêu cầu kết luận đảo chiều theo; khi chỉ thay đổi trường không liên quan, kết luận phải giữ nguyên, từ đó ràng buộc trong tín hiệu huấn luyện rằng kết luận chỉ phụ thuộc vào “đâu là phần được tổng hợp”.

Cài đặt mã nguồn: chạy hf download AustinXiao/VeriSpoof-Plus --include "code/*" --local-dir verispoof để tải mã nguồn, sau đó chạy pip install ./verispoof/code để cài đặt gói suy luận.
Nạp mô hình: trong Python, chạy from verispoof import VeriSpoof, sau đó model = VeriSpoof.from_pretrained("AustinXiao/VeriSpoof-Plus") để hoàn tất việc nạp mô hình.
Phát hiện thật giả: gọi model.detect("sample.wav") để trả về nhãn và điểm số. Điểm phát hiện và định vị theo từng token chỉ cần một lần forward, không cần tạo văn bản.
Suy luận có thể kiểm chứng: gọi model.explain("sample.wav") để trả về văn bản suy luận, kết luận, đoạn định vị và xác suất tổng hợp theo từng token. Có thể dùng backend vLLM để tạo suy luận đầy đủ theo lô; trên A100, mỗi mẫu mất khoảng 0,05 giây.
Xác minh cùng nguồn: gọi model.same_source("a.wav", "b.wav", level="generator") để xác định hai bản ghi âm có cùng nguồn hay không; level cũng có thể đặt thành acoustic_model hoặc vocoder.
Nhận diện điều kiện và truy nguyên: gọi model.condition("sample.wav", attr="codec") để nhận diện nhiễu, tiếng vang hoặc codec; gọi model.generator("sample.wav", ["XTTS-v2", "Bark", "VITS"]) để nhận diện hệ thống tạo trong danh sách ứng viên tùy chỉnh.

Hiệu năng phát hiện đứng đầu trong các hệ thống mã nguồn mở: EER gộp trên Speech-DF-Arena đạt 2,14%, đứng thứ ba trong 28 hệ thống và đứng đầu về trọng số mã nguồn mở; đồng thời là hệ thống hàng đầu duy nhất đi kèm công thức tái hiện chi phí thấp.
Kiến trúc thống nhất thay vì năm mô hình: cùng một bộ trọng số thực hiện năm loại tác vụ gồm phát hiện, truy nguyên, xác minh cùng nguồn, nhận diện kênh và suy luận, không có đầu phân loại chuyên dụng cho từng tác vụ.
Điểm số chính là câu trả lời: mọi điểm đánh giá đều trực tiếp lấy từ log-likelihood của câu trả lời do mô hình tạo ra, không xảy ra tình trạng “đầu phân loại rất mạnh nhưng câu trả lời lại không đúng trọng tâm”; kết luận người dùng nhìn thấy chính là đầu ra được chấm điểm.
Suy luận có thể kiểm chứng thay vì bịa đặt bằng phương thức sinh: suy luận được viết theo các trường cố định, mỗi dòng có thể đối chiếu với phép đo dạng sóng hoặc nhãn tập dữ liệu; huấn luyện phản thực tế bảo đảm kết luận chỉ đảo chiều theo “đâu là phần được tổng hợp”, với tỷ lệ trung thực cao nhất đạt 100%.
Khả năng khái quát được kiểm chứng nghiêm ngặt: EER khi xác định cùng nguồn trên các bộ tạo chưa xuất hiện đạt 6,2%, thấp hơn 77% so với bộ dò cặp chuyên dụng. Các bộ tạo chưa xuất hiện cũng được loại bỏ hoàn toàn khỏi dữ liệu huấn luyện, giúp giao thức đánh giá không bị nhiễu.

Trang web dự án: https://swagshaw.github.io/verispoof/
Kho GitHub: https://github.com/swagshaw/verispoof
Kho mô hình HuggingFace: https://huggingface.co/collections/AustinXiao/verispoof
Bài báo kỹ thuật arXiv: https://arxiv.org/pdf/2611.04634

Kiểm duyệt trên nền tảng truyền thông và mạng xã hội: phát hiện âm thanh người dùng tải lên và “ảnh chụp giọng nói” có được tổng hợp bằng AI hay không, hỗ trợ chặn nội dung giả mạo được tạo bằng giọng nói nhân bản.
Chống gian lận tài chính và qua điện thoại: xác minh cuộc gọi đến của bộ phận chăm sóc khách hàng và bản ghi chỉ thị chuyển khoản có phải do người thật thực hiện hay không, phòng ngừa các vụ lừa đảo giả danh người thân hoặc lãnh đạo bằng giọng nói nhân bản.
Giám định tư pháp và thực thi pháp luật: cung cấp báo cáo suy luận có thể kiểm chứng từng dòng trong giám định bằng chứng giọng nói, chỉ ra vị trí đoạn giả mạo và manh mối về hệ thống tạo, hỗ trợ chuyên gia kiểm tra thủ công.
Xác minh danh tính tại trung tâm cuộc gọi: xác định bản ghi được lưu trữ và cuộc gọi thời gian thực có cùng nguồn hay không, có phải giọng người thật hay không, từ đó giảm rủi ro xác thực giọng nói bị vượt qua bằng giọng tổng hợp.
Nghiên cứu và đánh giá mô hình: làm đường cơ sở phát hiện mạnh nhất trong nhóm trọng số mã nguồn mở và là mô hình giám định thống nhất, cho phép nhà nghiên cứu dùng VeriSpoof-Bench để đánh giá mô hình của mình và tiến hành các thí nghiệm so sánh có kiểm soát.