VeriSpoof Inafanya kazi

VeriSpoof ni modeli kubwa ya sauti ya chanzo huria iliyotengenezwa na Chuo Kikuu cha Melbourne, yenye vigezo 2.85B iliyofunzwa kwa 29.7M pekee. VeriSpoof huunganisha uchunguzi wa sauti bandia kuwa maswali kwa modeli; uzani huohuo hufanya utambuzi wa uhalisi, ufuatiliaji wa mfumo, uthibitishaji wa chanzo kimoja, utambuzi wa kituo na uchunguzi wa hoja zinazoweza kuthibitishwa. Kwenye Speech-DF-Arena, EER iliyounganishwa ni 2.14%; ilishika nafasi ya tatu kati ya mifumo 28 na nafasi ya kwanza miongoni mwa miradi ya chanzo huria.

Utambuzi wa uhalisi: Hubaini ikiwa rekodi ni sauti ya binadamu au imetengenezwa na AI. Alama hutokana na tofauti ya uwezekano wa logi kati ya sentensi mbili za majibu, “bandia/binadamu”; EER iliyounganishwa kwenye Speech-DF-Arena ni 2.14%, ikiwa ya kwanza miongoni mwa miradi ya chanzo huria.
Ufuatiliaji wa mfumo wa uzalishaji: Hubaini jenereta maalum kati ya mifumo ya TTS/VC inayowezekana, na inaweza kugawanywa katika viwango vitatu vya modeli ya akustika na vokoda ili kufanya utambuzi tofauti. Kwenye MLAAD, usahihi wa uainishaji wa jenereta 12 zilizowahi kuonekana ni 96.8%.
Uthibitishaji wa chanzo kimoja: Hubaini ikiwa rekodi mbili zilitoka kwenye mfumo mmoja wa uzalishaji. Kwa jozi za jenereta ambazo hazikuonekana wakati wa mafunzo, EER ni 6.2%, ikiwa chini kwa 77% kuliko kichunguzi cha jozi kilichofunzwa kwenye vipengele vilivyogandishwa vya kitambua maalum.
Utambuzi wa hali ya rekodi: Hubaini aina za kelele, mwangwi na kodeki katika sauti; usahihi wa toleo la Plus ni 81.3%.
Hoja zinazoweza kuthibitishwa: Hutoa hoja kwa sehemu zisizobadilika za uchunguzi, kituo, eneo, wasifu wa chanzo na hitimisho. Kila mstari unaweza kuthibitishwa kwa vipimo vya mawimbi au lebo za seti ya data, na huonyesha eneo la vipande bandia kwa vipindi vya sekunde 0.16. Hii huongeza kiwango cha ugunduzi wa bandia za sehemu kutoka 78.4% hadi 99.6%.

Fuata akaunti ya WeChat na ujibu “chanzo huria” ili kujiunga na kikundi cha majadiliano cha miradi ya AI ya chanzo huria
Ugawaji wa sauti wa mwonekano-mbili: Kisimbaji hutumia AuT encoder ya Qwen3-ASR-1.7B. Hali fiche za tabaka 25 huunganishwa kwa uzani unaoweza kujifunza, kisha kupelekwa kwenye kigawaji cha sauti kilichofunzwa kutoka mwanzo; kigawaji hutoa tokeni 16 za sentensi nzima zinazobeba taarifa za chanzo zisizobadilika kwa ujumla, pamoja na tokeni 52 za fremu, kila moja ikiwakilisha sekunde 0.16 na kuhifadhi taarifa za muda. Alama za muda za maandishi huingizwa kila sekunde 0.8 kati ya fremu, ili modeli ya lugha iweze kutaja moja kwa moja eneo la vipande bandia kwa kipimo cha “sekunde”.
Jibu lenyewe ndilo alama: Modeli ya lugha ni MiniCPM5-2B yenye LoRA. Malengo ya mafunzo ya kazi zote ni utabiri wa tokeni inayofuata, bila kichwa maalum cha uainishaji wa kazi yoyote. Alama ya utambuzi ni tofauti ya uwezekano wa logi kati ya sentensi za majibu ya bandia na binadamu; alama ya chanzo kimoja ni tofauti kati ya yes na no; katika swali la chaguo nyingi, kila sentensi ya jibu linalowezekana hupigwa alama na kubwa zaidi huchaguliwa.
Mpangilio wa mafunzo wa hatua tatu: Katika hatua ya ulinganifu wa mtazamo, modeli ya lugha hugandishwa huku kigawaji na kisimbaji cha DoRA pekee vikifunzwa, ili upande wa sauti ujifunze kwanza kubeba dalili za bandia. Kisha LoRA ya modeli ya lugha huongezwa na maswali yote ya uchunguzi hufunzwa, yakiwemo jenereta, modeli ya akustika, vokoda na maswali ya jozi katika viwango vyote vitatu. Mwishowe, hoja zenye msingi na sampuli za kinyume cha ukweli huongezwa kwa kiwango cha chini zaidi cha kujifunza, huku maswali ya hatua ya pili yakirudiwa ili kuzuia uwezo wa kujibu kwa hatua moja usipungue.
Lengo la hoja linalokokotolewa kutoka kwa ishara: Maandishi ya hoja huandikwa kwa sehemu zisizobadilika, na kila aina ya kauli ina kikagua kisichotegemea modeli. Mstari wa uchunguzi hulinganishwa na vipimo vya kipimo-bandwidth, SNR, kiwango cha mawimbi na ukataji kwenye mawimbi; mstari wa kituo hulinganishwa na hali zilizorekodiwa wakati wa kuongeza data; mstari wa eneo hulinganishwa na lebo za seti ya data; na wasifu wa chanzo hulinganishwa na metadata ya jenereta. Sampuli za kinyume cha ukweli hubadilisha eneo kuwa kinyume au kuingiza kipande kipya, zikihitaji hitimisho libadilike sambamba. Wakati sehemu zisizohusiana pekee zinabadilishwa, hitimisho lazima lisibadilike, hivyo mafunzo hulazimisha hitimisho litegemee tu “sehemu iliyotengenezwa”.

Kusakinisha msimbo: Tekeleza hf download AustinXiao/VeriSpoof-Plus --include "code/*" --local-dir verispoof ili kupakua msimbo, kisha tekeleza pip install ./verispoof/code ili kusakinisha kifurushi cha uelekezaji.
Kupakia modeli: Katika Python, tumia from verispoof import VeriSpoof, kisha model = VeriSpoof.from_pretrained("AustinXiao/VeriSpoof-Plus") ili kukamilisha upakiaji.
Utambuzi wa uhalisi: Kuita model.detect("sample.wav") hurudisha lebo na alama. Alama ya utambuzi na eneo la kila tokeni hupatikana kwa uenezi mmoja wa mbele, bila kuhitaji kutengeneza maandishi.
Hoja zinazoweza kuthibitishwa: Kuita model.explain("sample.wav") hurudisha maandishi ya hoja, hitimisho, vipande vilivyowekwa eneo na uwezekano wa utengenezaji kwa kila tokeni. Hoja kamili inaweza kutengenezwa kwa kundi kwa kutumia backend ya vLLM; kwenye A100, kila rekodi huchukua takriban sekunde 0.05.
Uthibitishaji wa chanzo kimoja: Kuita model.same_source("a.wav", "b.wav", level="generator") hubaini ikiwa rekodi mbili zina chanzo kimoja. level inaweza pia kuwekwa kuwa acoustic_model au vocoder.
Utambuzi wa hali na ufuatiliaji: Kuita model.condition("sample.wav", attr="codec") hutambua kelele, mwangwi au kodeki; kuita model.generator("sample.wav", ["XTTS-v2", "Bark", "VITS"]) hutambua mfumo wa uzalishaji kutoka kwenye orodha maalum ya watahiniwa.

Utendaji bora zaidi miongoni mwa miradi ya chanzo huria: EER iliyounganishwa kwenye Speech-DF-Arena ni 2.14%, nafasi ya tatu kati ya mifumo 28 na ya kwanza kwa uzani wa chanzo huria. Pia ndiyo mfumo pekee wa kiwango cha juu unaoambatanisha kichocheo cha uzalishaji wa gharama nafuu kinachoweza kurudiwa.
Muundo mmoja badala ya modeli tano: Uzani huohuo hukamilisha kazi tano za utambuzi, ufuatiliaji, uthibitishaji wa chanzo kimoja, utambuzi wa kituo na hoja, bila kichwa maalum cha uainishaji wa kazi.
Alama ni jibu: Alama zote za tathmini hutoka moja kwa moja kwenye uwezekano wa logi wa sentensi ya jibu la modeli. Hakuna mgawanyiko ambapo “kichwa cha uainishaji ni imara lakini jibu halihusiani”; hitimisho analoliona mtumiaji ndilo pato lililopigwa alama.
Hoja zinazoweza kuthibitishwa badala ya ubunifu wa kijenzi: Hoja huandikwa kwa sehemu zisizobadilika, na kila mstari unaweza kukaguliwa kwa vipimo vya mawimbi au lebo za seti ya data. Mafunzo ya kinyume cha ukweli huhakikisha hitimisho linabadilika tu kulingana na “sehemu iliyotengenezwa”; kiwango cha uaminifu hufikia 100%.
Uwezo wa jumla umethibitishwa kwa ukali: EER ya uthibitishaji wa chanzo kimoja kwa jenereta ambazo hazikuonekana ni 6.2%, ikiwa chini kwa 77% kuliko kichunguzi maalum cha jozi. Jenereta ambazo hazikuonekana pia ziliondolewa kabisa kwenye data ya mafunzo, hivyo itifaki ya tathmini ni safi.

Tovuti rasmi ya mradi: https://swagshaw.github.io/verispoof/
Hifadhi ya GitHub: https://github.com/swagshaw/verispoof
Mkusanyiko wa modeli wa HuggingFace: https://huggingface.co/collections/AustinXiao/verispoof
Makala ya kiufundi ya arXiv: https://arxiv.org/pdf/2611.04634

Ukaguzi wa vyombo vya habari na majukwaa ya kijamii: Hugundua ikiwa sauti zilizopakiwa na watumiaji pamoja na “picha za skrini za sauti” zimetengenezwa na AI, na kusaidia kuzuia maudhui ya uongo yanayotumia sauti zilizonakiliwa.
Udhibiti wa ulaghai katika fedha na simu: Huthibitisha ikiwa simu za huduma kwa wateja na rekodi za maagizo ya uhamishaji fedha zimetolewa na binadamu, na kuzuia ulaghai wa kutumia sauti iliyonakiliwa kujifanya ndugu au mtendaji mkuu.
Uchunguzi wa kimahakama na utekelezaji wa sheria: Hutoa ripoti za hoja zinazoweza kuthibitishwa mstari kwa mstari katika uchanganuzi wa ushahidi wa sauti, ikieleza eneo la vipande bandia na dalili za mfumo wa uzalishaji ili kusaidia ukaguzi wa binadamu.
Uthibitishaji wa utambulisho katika vituo vya simu: Hubaini ikiwa rekodi zilizohifadhiwa na mazungumzo ya moja kwa moja yana chanzo kimoja na ikiwa ni sauti ya binadamu, hivyo kupunguza hatari ya uthibitishaji wa sauti kupitwa kwa sauti iliyotengenezwa.
Utafiti na tathmini ya modeli: Kama msingi wenye nguvu zaidi wa utambuzi wenye uzani wa chanzo huria na modeli ya pamoja ya uchunguzi, huwapa watafiti VeriSpoof-Bench ya kutathmini modeli zao na kufanya majaribio ya kulinganisha yaliyodhibitiwa.