EvaOmni Faoliyat yuritmoqda

EvaOmni — Shanxay Jiao Tong universiteti, Fudan universiteti, Tencent YouTu va boshqalar tomonidan ochiq manba sifatida taqdim etilgan multimodal katta modellarni baholash benchmarki bo‘lib, 392 ta haqiqiy video, insonlar tomonidan belgilangan 1 027 ta savol-javobni o‘z ichiga oladi hamda 15 turdagi qobiliyat va 3 ta mulohaza darajasini qamrab oladi. EvaOmni javob bilan birga audio va video dalillarining vaqt oralig‘ini ham taqdim etishni talab qiladi va javob aniqligi, dalillar qamrovi hamda multimodal lokalizatsiya bo‘yicha uchta ko‘rsatkich asosida baholanadi. EvaOmni sinovida 24 ta model orasida eng kuchlisi bo‘lgan Gemini3.7-Flash aniqlik bo‘yicha 79.4% natija ko‘rsatgan, biroq multimodal lokalizatsiya atigi 35.1% bo‘lgan. Bu inson ekspertlarining 94.3% natijasidan 59.2 foiz punktga past bo‘lib, to‘g‘ri javob berish, ammo asosni ko‘rsata olmaslik muammosini ochib beradi.

Javoblarni baholash: modelning audiovizual tanlov savollariga javoblari to‘g‘riligini aniqlaydi va aniqlikni Acc. sifatida beradi.
Dalillarni belgilash va qaytarish: har bir savol uchun javobni qo‘llab-quvvatlovchi audio va video vaqt oralig‘i insonlar tomonidan belgilanadi; model javob bilan birga multimodal dalil oraliqlarini ham qaytarishi kerak.
Dalillar qamrovi bahosi (C.G.): insonlar belgilagan dalil segmentlarining model bashorat qilgan oraliqlarga tushish ulushini hisoblab, model nechta qo‘llab-quvvatlovchi belgini topganini o‘lchaydi.
Multimodal to‘siqni aniqlash (B.G.): audio va video uchun vaqt bo‘yicha IoU alohida hisoblanadi va yakuniy baho kuchsizroq modalitet asosida belgilanadi; ikkala modalitet ham bir vaqtda aniq lokalizatsiya qilinishi talab etiladi.
Qobiliyatlarning uch darajali tasnifi: vazifalarni qidirish va lokalizatsiya, asosiy tushunish hamda murakkab mulohaza darajalariga ajratib, modelning yagona nuqtani moslashtirishdan ko‘p bosqichli mulohazagacha bo‘lgan qobiliyatini tekshiradi.
Qisqa yo‘llarni filtrlash: matn, audio va vizual bir modalitetli kiritishlar orqali savollarni tekshiradi va faqat bitta modalitet yoki matnli umumiy bilim yordamida javob berish mumkin bo‘lgan namunalarni chiqarib tashlaydi.
Modellarni qiyosiy baholash: 24 ta multimodal model uchun yagona benchmark va reytingni taqdim etadi, ochiq og‘irlikdagi hamda xususiy modellarni taqqoslab tanlashni qo‘llab-quvvatlaydi.

WeChat’da kuzatib boring va “开源” deb javob yuborib, AI ochiq manba loyihalari guruhiga qo‘shiling
Dalillarga asoslangan belgilash ma’lumotlari tuzilmasi: EvaOmni har bir savol uchun audio va video dalil oraliqlarini bir vaqtda belgilaydi hamda video mazmuni asosida ishlab chiqilgan chalg‘ituvchi variantlar to‘plamini biriktiradi. Shu sababli model chiqishi uchlik sifatida belgilanadi: variant, audio vaqt tamg‘alari to‘plami va video vaqt tamg‘alari to‘plami. Baholash dasturi javob to‘g‘riligi va dalil lokalizatsiyasi sifatini alohida tekshirishi mumkin.
Ma’lumotlarni yaratishning to‘rt bosqichli jarayoni: ma’lumotlar video saralash, insonlar tomonidan belgilash, o‘zaro tekshirish va qisqa yo‘llarni filtrlash bosqichlaridan o‘tadi. Avval qattiq kodlangan subtitrlar yoki katta hajmdagi matn qoplamasi bo‘lgan videolar chiqarib tashlanadi, shu orqali audiovizual belgilar haqiqiy va samarali bo‘lishi ta’minlanadi; ekspertlar savollar tuzadi, video mazmuniga bog‘langan chalg‘ituvchi variantlarni ishlab chiqadi va ikkala modalitetdagi dalil oraliqlarini belgilaydi; boshqa belgilovchilar qobiliyat tasnifi, dalil sifati va qisqa yo‘llar bilan bog‘liq muammolarni o‘zaro tekshiradi, bahsli namunalar esa ikki nafar qo‘shimcha ekspert tomonidan mustaqil qayta ko‘rib chiqiladi; model faqat matn, faqat audio va faqat vizual kiritishlar asosida alohida javob beradi. Bir modalitetda to‘g‘ri javob berish mumkin bo‘lgan barcha savollar qayta ishlanib, ma’lumotlar darajasida “audiovizual birgalikdagi mulohazani chetlab o‘tish” yo‘li to‘sib qo‘yiladi.
Qamrov va lokalizatsiyaga asoslangan ikki ko‘rsatkichli baholash tizimi: dalillar qamrovi C.G. har bir inson belgilagan dalil segmenti istalgan bashorat qilingan oraliq bilan musbat davomiylikka ega kesishmaga ega yoki yo‘qligini hisoblab, dalil topilgan-topilmaganini o‘lchaydi; to‘siq lokalizatsiyasi B.G. har bir modalitetda barcha bashorat qilingan oraliqlar va belgilangan oraliqlarning birlashmasini olib, vaqt bo‘yicha kesishma-birlashma nisbati IoU orqali moslik darajasini hisoblaydi. Yakuniy baho audio va videoning ikki IoU qiymatidan kuchsizrog‘i asosida belgilanadi. Har ikkala ko‘rsatkich ham javob to‘g‘riligi bilan ko‘paytiriladi, shuning uchun noto‘g‘ri javob nol ball oladi. Ushbu dizayn keng oraliqli bashoratlarga faqat qamrov ballini olishga, aniq chegaralarga esa lokalizatsiya ballini qo‘shishga imkon beradi; “kuchsiz modalitet” asosida baholash esa kuchli modalitet bilan kuchsiz modalitetni qoplashning oldini oladi.
Qobiliyatlarni uch darajaga ajratish: ma’lumotlar to‘plami mulohaza va dalil murakkabligiga ko‘ra uch darajaga tashkil etilgan. Level 1 — qidirish va lokalizatsiya — vaqt, hodisa va obyektlarning audio-video orasidagi mosligini tekshiradi; Level 2 — asosiy tushunish — hodisa, hissiyot va maqsadni anglash uchun o‘zaro to‘ldiruvchi audiovizual belgilarni birlashtirishni talab qiladi; Level 3 — murakkab mulohaza — turli vaqt nuqtalarida tarqalgan bir nechta dalilni birlashtirib, ko‘p bosqichli xulosa chiqarishni talab qiladi. Daraja oshgani sari bitta savoldagi dalillar soni va qamrab olingan vaqt sezilarli ravishda ortadi. Shu tariqa modelning qidirish, tushunish va uzoq muddatli ko‘p bosqichli mulohazadagi zaif tomonlarini aniq daraja bo‘yicha aniqlash mumkin.

ModelScope mijozini o‘rnating: ModelScope SDK’ni o‘rnatish yoki yangilash uchun pip install -U modelscope buyrug‘ini bajaring.
Ma’lumotlar to‘plamini yuklab oling: dataset_snapshot_download yordamida VisionXLab/EvaOmni-Dataset ma’lumotlar to‘plami ID’sini ko‘rsatib, ma’lumotlarni mahalliy katalogga yuklang.
Model kiritishlarini tayyorlang: baholash protokoliga muvofiq videolarni qayta ishlang va ularga mos audio tarkibni tayyorlang.
Baholanadigan modelni ulang: GitHub omboridagi ko‘rsatmalarga muvofiq multimodal modelingizni ulang va yagona prompt yordamida modeldan variant, audio vaqt tamg‘alari hamda video vaqt tamg‘alaridan iborat uchlikni qaytarishni so‘rang.
Baholashni ishga tushiring: baholash freymvorki orqali barcha 1 027 ta savol-javob bo‘yicha ommaviy inferensni bajaring; dastur javoblar va oraliqlar mosligini avtomatik tekshiradi.
Natijalarni ko‘ring: Acc., C.G. va B.G. ko‘rsatkichlari hamda uch darajali qobiliyat natijalarini o‘qing va modelning zaif tomonlarini aniqlash uchun ularni reyting bilan taqqoslang.

Dalil lokalizatsiyasi baholashga kiritilgan: modeldan audio va video dalillarining vaqt oralig‘ini qaytarish talab qilinadi, shu orqali taxminan to‘g‘ri topilgan javob bilan dalilga asoslangan javob farqlanadi.
Dalil sifatini ikki ko‘rsatkich orqali miqdoriy baholash: dalillar qamrovi C.G. barcha belgilar topilgan-topilmaganini o‘lchaydi, to‘siq lokalizatsiyasi B.G. esa vaqt bo‘yicha IoU asosida kuchsizroq modalitet bilan baholanadi va kuchli modalitet yordamida kuchsiz modalitetni yashirishga yo‘l qo‘ymaydi.
Qobiliyatlarning aniq uch darajali tasnifi: qidirish va lokalizatsiyadan asosiy tushunish, undan murakkab ko‘p bosqichli mulohazagacha bosqichma-bosqich rivojlanadi va modelning turli mulohaza chuqurliklaridagi aniq zaif tomonlarini ko‘rsatadi.
Insonlar tomonidan belgilash sifati yuqori: savollar ekspertlar tomonidan tuziladi, o‘zaro tekshiriladi va bahsli namunalar ikki ekspert tomonidan qayta ko‘rib chiqiladi, shu sababli ma’lumotlar ishonchliligi avtomatik yaratilgan o‘xshash benchmarklardan yuqori.
Qisqa yo‘llarni filtrlash mexanizmi qat’iy: savollar matn, audio va vizual uch xil bir modalitetli kiritish orqali tekshiriladi, audiovizual birgalikdagi mulohazani chetlab o‘tib javob berish mumkin bo‘lgan namunalar chiqarib tashlanadi va baholash adolatliligi ta’minlanadi.
Haqiqiy qobiliyatlar tafovutini ochib beradi: sinovlar eng kuchli modelning javob aniqligi insonlarnikidan atigi 17 foiz punktga pastligini, biroq multimodal lokalizatsiyada farq 59.2 foiz punktga yetishini ko‘rsatdi. Bu mavjud modellarning haqiqiy zaif tomonlarini fosh etadi.

Loyiha rasmiy sayti: https://xiaoxing2001.github.io/EvaOmni.github.io/
GitHub ombori: https://github.com/VisionXLab/EvaOmni
HuggingFace model ombori: https://huggingface.co/datasets/VisionXLab/EvaOmni-Dataset
arXiv texnik maqolasi: https://arxiv.org/pdf/2610.28444

Multimodal modellarni ishlab chiqish va baholash: model jamoalari Omni LLM’ni takomillashtirishda Acc./C.G./B.G. uchta ko‘rsatkichidan foydalanib, “javob yaxshilandi, ammo dalil lokalizatsiyasi ortda qoldi” kabi qobiliyat uzilishlarini aniqlaydi va treningni yaxshilash yo‘nalishini belgilaydi.
Korxona darajasida AI tanlash va qabul qilish: moliya va davlat boshqaruvi kabi modeldan “tekshiriladigan asos” talab qilinadigan sohalarda xaridorlar B.G. to‘siq lokalizatsiyasi ballari orqali haqiqatan ishonchli multimodal modellarni saralashi mumkin.
Video tarkibini moderatsiya qilish va manbasini aniqlash: moderatsiya ilovalari modeldan qoidabuzarlik mazmuni “qaysi kadrda va qaysi tovush qismida” paydo bo‘lganini ko‘rsatishni talab qiladi. EvaOmni’ning vaqt oralig‘i chiqishi va lokalizatsiya ko‘rsatkichlari bevosita qabul qilish mezoni sifatida ishlatilishi mumkin.
Ta’lim va kino mazmuni bo‘yicha savol-javob mahsulotlari: videoli o‘quv yordamchilari va kino sharhi mahsulotlari javob berishda asl video parchalariga murojaat qilishi kerak. Ushbu benchmark modelning tegishli kadr va dialoglarni aniq lokalizatsiya qila olishini baholashga yordam beradi.
Akademik tadqiqot va reytinglar yaratish: tadqiqotchilar ochiq manbadagi dalillar bilan belgilangan 392 ta video asosida audiovizual mulohaza, vaqt bo‘yicha lokalizatsiya va ko‘p bosqichli mulohaza kabi yo‘nalishlarda keyingi tadqiqotlar olib borishi yoki uni bir nechta benchmarkni birlashtirgan baholash tizimiga kiritishi mumkin.