EvaOmni Inafanya kazi

EvaOmni ni kigezo cha tathmini ya miundo mikubwa ya kila hali kilichowekwa wazi na Chuo Kikuu cha Shanghai Jiao Tong, Chuo Kikuu cha Fudan, Tencent YouTu na wengine; kina video halisi 392, maswali na majibu 1,027 yaliyowekwa alama na binadamu, kikifunika uwezo 15 na viwango 3 vya ufikiri. EvaOmni inahitaji kutoa jibu pamoja na vipindi vya muda vya ushahidi wa sauti na video, kisha hupima kwa viashiria vitatu: usahihi wa jibu, ufunikaji wa ushahidi na uainishaji wa hali mbili. Katika majaribio ya miundo 24, Gemini3.7-Flash yenye nguvu zaidi ilipata usahihi wa 79.4%, lakini uainishaji wa hali mbili ulikuwa 35.1% tu, tofauti ya asilimia 59.2 ikilinganishwa na wataalamu wa binadamu waliofikia 94.3%, jambo linalofichua udhaifu wa kujibu kwa usahihi bila kuweza kutoa msingi wa jibu.

Tathmini ya majibu: huamua ikiwa jibu la modeli kwenye maswali ya kuchagua yanayotegemea kuona na kusikia ni sahihi, na kutoa usahihi Acc。
Uwekaji na urejeshaji wa ushahidi: kwa kila swali, binadamu huweka alama za vipindi vya muda vya sauti na video vinavyounga mkono jibu; modeli lazima irejeshe vipindi vya ushahidi wa hali mbili pamoja na jibu.
Alama ya ufunikaji wa ushahidi (C.G.): huhesabu uwiano wa sehemu za ushahidi zilizowekwa alama na binadamu ambazo zimepatwa na vipindi vilivyotabiriwa na modeli, na kupima ni vidokezo vingapi vya kuunga mkono modeli imepata.
Uainishaji wa kikwazo cha hali mbili (B.G.): huhesabu IoU ya mfululizo kwa sauti na video kando, kisha hutumia hali dhaifu zaidi kuweka alama, hivyo zinahitaji hali zote mbili ziainishwe kwa usahihi kwa wakati mmoja.
Ngazi tatu za uwezo: hugawa kazi katika urejeshaji na uainishaji, uelewa wa msingi na ufikiri changamano, ili kupima mwanya wa uwezo wa modeli kutoka ulinganishaji wa hoja moja hadi ufikiri wa hatua nyingi.
Uchujaji wa njia za mkato: huchunguza maswali kwa kutumia pembejeo za hali moja ya maandishi, sauti na picha, na kuondoa sampuli ambazo zinaweza kujibiwa kwa kutegemea hali moja pekee au maarifa ya kawaida ya maandishi.
Tathmini linganishi ya miundo: hutoa kigezo cha pamoja na orodha ya viwango kwa miundo 24 ya kila hali, na kusaidia kulinganisha na kuchagua kati ya miundo yenye uzito wazi na miundo ya wamiliki.

Fuata WeChat na ujibu “开源” ili ujiunge na kikundi cha mawasiliano cha miradi ya AI ya chanzo-wazi
Muundo wa data wenye lebo zinazotambua ushahidi: EvaOmni huweka kwa kila swali vipindi vya ushahidi wa sauti na video kwa wakati mmoja, pamoja na seti ya chaguo za kuvuruga zilizoundwa kulingana na maudhui ya video. Kwa hiyo, matokeo ya modeli hufafanuliwa kama jozi-tatu: chaguo, seti ya mihuri ya muda ya sauti na seti ya mihuri ya muda ya video. Programu ya tathmini inaweza kuthibitisha kando usahihi wa jibu na ubora wa uainishaji wa ushahidi.
Mtiririko wa ujenzi wa data wa hatua nne: uzalishaji wa data hupitia hatua nne: uteuzi wa video, uwekaji wa lebo na binadamu, ukaguzi mtambuka na uchujaji wa njia za mkato. Kwanza huondoa video zenye manukuu yaliyowekwa kwa msimbo au maandishi yanayofunika eneo kubwa, ili kuhakikisha vidokezo vya kuona na kusikia ni halisi na vyenye ufanisi; wataalamu huandika maswali, kubuni chaguo za kuvuruga zinazohusishwa na maudhui ya video na kuweka alama za vipindi vya ushahidi vya hali zote mbili; wawekaji wengine wa lebo hukagua kwa mtambuka uainishaji wa uwezo, ubora wa ushahidi na masuala ya njia za mkato, huku sampuli zenye utata zikikaguliwa kwa kujitegemea na wataalamu wawili wa ziada; modeli hujibu kando kwa pembejeo za hali moja tu ya maandishi, sauti au picha, na maswali yote yanayoweza kujibiwa kwa hali moja hurekebishwa na kuwekwa lebo upya, hivyo kuzuia kimuundo njia ya mkato ya “kupita ufikiri wa pamoja wa kuona na kusikia”.
Mfumo wa alama wa viashiria viwili wa ufunikaji na uainishaji: alama ya ufunikaji wa ushahidi C.G. huhesabu ikiwa kila sehemu ya ushahidi iliyowekwa alama na binadamu ina mwingiliano wa muda chanya na angalau kipande kimoja kilichotabiriwa, na kupima ikiwa ushahidi umepatikana; alama ya uainishaji wa kikwazo B.G. huunganisha vipindi vyote vilivyotabiriwa na vipindi vilivyowekwa alama ndani ya kila hali, kisha huhesabu kiwango cha mwingiliano kwa IoU ya mfululizo, huku alama ya mwisho ikiwa IoU dhaifu zaidi kati ya sauti na video. Viashiria vyote viwili huzidishwa kwa alama ya usahihi wa jibu, hivyo jibu lisilo sahihi hupata sifuri; muundo huu hufanya utabiri mpana upate tu alama ya ufunikaji, huku mipaka sahihi ikichangia alama ya uainishaji, na hutumia “hali dhaifu” kuweka alama ili kuzuia hali yenye nguvu kufidia hali dhaifu.
Muundo wa ngazi tatu za uwezo: seti ya data hupangwa kwa viwango vitatu kulingana na ugumu wa ufikiri na ushahidi. Level 1 ya urejeshaji na uainishaji huchunguza ulinganishaji wa muda, matukio na huluki kati ya sauti na video; Level 2 ya uelewa wa msingi inahitaji kuunganisha vidokezo vya ziada vya kuona na kusikia ili kuelewa matukio, hisia na nia; Level 3 ya ufikiri changamano inahitaji kuunganisha ushahidi mwingi uliotawanyika katika nyakati tofauti ili kukamilisha uamuzi wa hatua nyingi. Kadiri kiwango kinavyoongezeka, idadi ya ushahidi na muda wa ufunikaji kwa swali huongezeka kwa kiasi kikubwa, hivyo kuruhusu udhaifu wa modeli katika urejeshaji, uelewa na ufikiri wa muda mrefu wa hatua nyingi kutambuliwa katika kiwango mahususi.

Sakinisha mteja wa ModelScope: tekeleza pip install -U modelscope ili kusakinisha au kusasisha SDK ya ModelScope.
Pakua seti ya data: tumia dataset_snapshot_download na ueleze Kitambulisho cha seti ya data VisionXLab/EvaOmni-Dataset ili kuipakua kwenye saraka ya ndani.
Andaa pembejeo za modeli: chakata video kulingana na itifaki ya tathmini na uandae maudhui ya sauti yanayoambatana.
Unganisha modeli ya kutathminiwa: fuata maelekezo katika hazina ya GitHub kuunganisha modeli yako ya kila hali, na tumia kidokezo cha pamoja kuifanya modeli itoe jozi-tatu ya chaguo, mihuri ya muda ya sauti na mihuri ya muda ya video.
Endesha tathmini: ita mfumo wa tathmini kufanya uelekezaji kwa kundi kwenye maswali na majibu yote 1,027; programu itakagua kiotomatiki majibu na ulinganifu wa vipindi.
Angalia matokeo: soma viashiria vitatu Acc., C.G. na B.G., pamoja na matokeo ya ngazi tatu za uwezo, kisha linganisha na orodha ya viwango ili kutambua udhaifu wa modeli.

Uainishaji wa ushahidi umejumuishwa katika alama: modeli inatakiwa kurejesha vipindi vya ushahidi wa sauti na video, hivyo kutofautisha kati ya kukisia jibu sahihi na kulitegemeza kwa ushahidi.
Ubora wa ushahidi hupimwa kwa viashiria viwili: alama ya ufunikaji wa ushahidi C.G. hupima ikiwa vidokezo vyote vimepatikana, huku alama ya uainishaji wa kikwazo B.G. ikitumia IoU ya mfululizo na hali dhaifu zaidi kuweka alama, na kuzuia hali yenye nguvu kuficha udhaifu wa hali nyingine.
Ngazi tatu za uwezo ni za kina: zinaendelea kutoka urejeshaji na uainishaji, kupitia uelewa wa msingi, hadi ufikiri changamano wa hatua nyingi, na zinaweza kutambua udhaifu mahususi wa modeli katika kina tofauti cha ufikiri.
Ubora wa uwekaji wa lebo na binadamu ni wa juu: maswali huandaliwa na wataalamu, hukaguliwa kwa mtambuka, na sampuli zenye utata hukaguliwa tena na wataalamu wawili, hivyo data ni ya kuaminika zaidi kuliko vigezo vinavyofanana vilivyoundwa kiotomatiki.
Utaratibu wa uchujaji wa njia za mkato ni madhubuti: maswali huchunguzwa kwa pembejeo za hali moja ya maandishi, sauti na picha, na sampuli zinazoweza kujibiwa bila ufikiri wa pamoja wa kuona na kusikia huondolewa, ili kuhakikisha usawa wa tathmini.
Hufichua pengo halisi la uwezo: majaribio yanaonyesha kuwa tofauti kati ya usahihi wa majibu wa modeli bora zaidi na binadamu ni asilimia 17 tu, lakini tofauti ya uainishaji wa hali mbili ni asilimia 59.2, jambo linalofichua udhaifu halisi wa miundo ya sasa.

Tovuti rasmi ya mradi: https://xiaoxing2001.github.io/EvaOmni.github.io/
Hazina ya GitHub: https://github.com/VisionXLab/EvaOmni
Hazina ya modeli ya HuggingFace: https://huggingface.co/datasets/VisionXLab/EvaOmni-Dataset
Makala ya kiteknolojia ya arXiv: https://arxiv.org/pdf/2610.28444

Utafiti na tathmini ya miundo ya kila hali: timu za modeli zinapotengeneza Omni LLM, hutumia viashiria Acc./C.G./B.G. kutambua mgawanyiko wa uwezo ambapo “majibu yameboreshwa lakini uainishaji wa ushahidi haujaendana”, na kuelekeza maboresho ya mafunzo.
Uchaguzi na uthibitishaji wa AI wa kiwango cha biashara: katika hali za kifedha, za serikali na nyingine zinazohitaji modeli “kutoa msingi unaoweza kuthibitishwa”, wanunuzi wanaweza kutumia alama ya uainishaji wa kikwazo B.G. kuchagua modeli zinazotegemeka kweli katika hali zote mbili.
Ukaguzi na ufuatiliaji wa maudhui ya video: programu za ukaguzi zinahitaji modeli ionyeshe maudhui yanayokiuka “yanaonekana katika picha gani na sauti gani”; vipindi vya muda na viashiria vya uainishaji vya EvaOmni vinaweza kutumika moja kwa moja kama viwango vya uthibitishaji.
Bidhaa za maswali na majibu za elimu/filamu: wasaidizi wa kujifunza wenye video na bidhaa za ufafanuzi wa filamu huhitaji kunukuu vipande vya chanzo katika majibu; kigezo hiki kinaweza kutathmini ikiwa modeli inaweza kuainisha kwa usahihi picha na mistari inayohusiana.
Utafiti wa kitaaluma na ujenzi wa orodha za viwango: watafiti wanaweza kutumia video 392 zilizo wazi zenye lebo za ushahidi kufanya utafiti zaidi kuhusu ufikiri wa kuona na kusikia, uainishaji wa wakati na ufikiri wa hatua nyingi, au kujumuisha data hii katika mfumo wa tathmini wa vigezo vingi.