EvaOmni خدام

EvaOmni هو معيار مفتوح لتقييم النماذج الكبيرة متعددة الوسائط، طوّراتو جامعة شنغهاي جياو تونغ، جامعة فودان، Tencent YouTu وغيرهم. فيه 392 فيديو حقيقي و1,027 سؤال وجواب معلّمين يدوياً، وكيغطي 15 قدرة و3 مستويات ديال الاستدلال. EvaOmni خاصو يقدّم الجواب ومعاه الفترات الزمنية ديال الأدلة الصوتية والفيديو، وكيتم التنقيط حسب دقة الجواب، وتغطية الأدلة، وتحديد الموقع فالجوج ديال الوسائط. فاختبار على 24 نموذج، أقوى نموذج Gemini3.7-Flash وصل لدقة 79.4%، ولكن تحديد الموقع فالجوج ديال الوسائط ما فاقش 35.1%، بفارق 59.2 نقطة مئوية على الخبراء البشريين اللي وصلو لـ94.3%، وهاد الشي كيبين ضعف النماذج فأنها كتجاوب صحيح ولكن ما كتقدرش تبيّن الدليل.

تقييم الأجوبة: كيتحقق واش جواب النموذج فأسئلة الاختيار المتعدد السمعية والبصرية صحيح، وكيعطي نسبة الدقة Acc.。
تعليم الأدلة وإرجاعها: كل سؤال فيه فترات زمنية صوتية وبصرية معلّمة يدوياً كتدعم الجواب، وخاص النموذج يرجّع فترات الأدلة فالجوج ديال الوسائط مع الجواب.。
تنقيط تغطية الأدلة (C.G.): كيتحسب شحال من مقاطع الأدلة المعلّمة يدوياً تلاقاو مع الفترات اللي توقّعها النموذج، باش يتقاس واش لقا جميع القرائن الداعمة.。
تحديد عنق الزجاجة فالجوج ديال الوسائط (B.G.): كيتحسب IoU الزمني للصوت وللفيديو كل واحد بوحدو، وكيتم اعتماد الأضعف بيناتهم فالتنقيط، يعني خاص تحديد الموقع يكون صحيح فالجوج.。
تقسيم القدرات لثلاثة مستويات: المهام مقسّمة بين البحث وتحديد الموقع، والفهم الأساسي، والاستدلال المعقد، باش يتقاس تطور قدرة النموذج من المحاذاة فمعلومة وحدة حتى للاستدلال متعدد القفزات.。
تصفية الطرق المختصرة: كيتفحصو الأسئلة باستعمال مدخلات نصية وصوتية وبصرية أحادية الوسيط، وكيتم حذف العينات اللي يمكن الجواب عليها غير بوسيط واحد أو بالمعرفة العامة ديال النص.。
تقييم النماذج بشكل موحّد: كيوفّر معيار موحّد وترتيب لـ24 نموذج متعدد الوسائط، وكيعاون فالمقارنة والاختيار بين النماذج مفتوحة الأوزان والنماذج المملوكة.

تابع الحساب فـWeChat وجاوب بـ“开源” باش تنضم لمجموعة نقاش مشاريع الذكاء الاصطناعي مفتوحة المصدر
بنية بيانات معلّمة وواعية بالأدلة: EvaOmni كيعلّم لكل سؤال فترات الأدلة الصوتية وفترات الأدلة البصرية فآن واحد، ومعاها مجموعة ديال الاختيارات المضلّلة مصمّمة على حساب محتوى الفيديو. وبهذا كيولي خرج النموذج ثلاثي العناصر: الاختيار، مجموعة الطوابع الزمنية الصوتية، ومجموعة الطوابع الزمنية للفيديو. برنامج التقييم كيقدر يتحقق بشكل منفصل من صحة الجواب ومن جودة تحديد موقع الأدلة.。
خط أنابيب بناء البيانات فـ4 مراحل: إنتاج البيانات كيدوز من تصفية الفيديو، والتعليم اليدوي، والمراجعة المتقاطعة، وتصفية الطرق المختصرة. فالأول كيتحيدو الفيديوهات اللي فيها ترجمة مضمّنة أو تغطية كبيرة بالنص، باش تبقى القرائن السمعية والبصرية حقيقية وفعّالة؛ ومن بعد الخبراء كيكتبو الأسئلة وكيصممو اختيارات مضلّلة مرتبطة بمحتوى الفيديو، وكيعلّمو فترات الأدلة فالجوج ديال الوسائط؛ ومن بعد معلّمين آخرين كيراجعو بشكل متقاطع تصنيف القدرة وجودة الأدلة ومشاكل الطرق المختصرة، والعينات المختلف عليها كيراجعوها بشكل مستقل جوج خبراء إضافيين؛ وأخيراً كيخليو النموذج يجاوب بشكل منفصل باستعمال النص فقط، والصوت فقط، والرؤية فقط. أي سؤال يقدر النموذج يجاوب عليه بوسيط واحد كيرجع يتصلح ويتعلّم من جديد، باش يتسدّ من مستوى البيانات الطريق المختصر ديال “تجاوز الاستدلال المشترك بين السمع والرؤية”.。
نظام تنقيط بجوج مؤشرات: نقطة تغطية الأدلة C.G. كتحسب واش كل مقطع دليل معلّم يدوياً عندو تداخل موجب فالمدة مع شي فترة متوقعة، وكتقيس واش النموذج لقا الدليل؛ أما نقطة تحديد عنق الزجاجة B.G. فكل وسيط، كيتجمعو جميع الفترات المتوقعة والمعلّمة فمجموعات، ومن بعد كيتحسب مقدار التداخل حسب IoU الزمني، وكيتم اعتماد الأضعف بين IoU ديال الصوت والفيديو فالنقطة النهائية. الجوج ديال المؤشرات كيتضربو فمعدل صحة الجواب، والجواب الغلط كيعطي صفر؛ وهاد التصميم كيخلي التوقع الواسع يجيب غير نقطة التغطية، بينما الحدود الدقيقة هي اللي كتساهم فنقطة تحديد الموقع، ومع اعتماد “الوسيط الأضعف” فالتنقيط ما كيبقاش ممكن تعويض ضعف وسيط بقوة الوسيط الآخر.。
تصميم تقسيم القدرات لثلاثة مستويات: مجموعة البيانات منظّمة حسب تعقيد الاستدلال والأدلة فثلاثة مستويات. Level 1 ديال البحث وتحديد الموقع كيمتحن المحاذاة بين الوقت والحدث والكيان فالصوت والفيديو؛ Level 2 ديال الفهم الأساسي كيتطلب دمج القرائن السمعية والبصرية المتكاملة لفهم الأحداث والمشاعر والنوايا؛ Level 3 ديال الاستدلال المعقد كيتطلب جمع أدلة متعددة ومفرّقة فمراحل زمنية مختلفة باش يتم اتخاذ حكم متعدد القفزات. كلما طلع المستوى، كتزاد بشكل واضح كمية الأدلة ومدة التغطية فكل سؤال، وبهذا كيمكن تحديد مستوى الضعف ديال النموذج فالبحث والفهم والاستدلال الطويل متعدد المراحل.

ثبّت عميل ModelScope: نفّذ pip install -U modelscope باش تثبّت أو تحدّث ModelScope SDK.。
حمّل مجموعة البيانات: استعمل dataset_snapshot_download وحدد معرّف مجموعة البيانات VisionXLab/EvaOmni-Dataset باش تهبط البيانات للمجلد المحلي.。
وجد مدخلات النموذج: عالج الفيديو حسب بروتوكول التقييم ووفّر معاه المحتوى الصوتي.。
ربط النموذج اللي بغيتي تقيّمو: تبع تعليمات مستودع GitHub وربط النموذج متعدد الوسائط ديالك، وخليه يستعمل البرومبت الموحّد باش يرجّع ثلاثية الاختيار والطابع الزمني الصوتي والطابع الزمني للفيديو.。
شغّل التقييم: عيّط لإطار التقييم باش يدير الاستدلال بالجملة على 1,027 سؤال وجواب، والبرنامج غادي يتحقق أوتوماتيكياً من الأجوبة وتطابق الفترات.。
شوف النتائج: قرا المؤشرات الثلاثة Acc. وC.G. وB.G. ونتائج مستويات القدرات الثلاثة، وقارنها مع الترتيب باش تحدد نقاط ضعف النموذج.

تحديد موقع الأدلة داخل فالتنقيط: النموذج خاصو يرجّع الفترات الزمنية ديال الأدلة الصوتية والبصرية، باش يبان الفرق بين الجواب اللي جا بالتخمين والجواب المدعوم بالدليل.。
قياس جودة الأدلة بجوج مؤشرات: نقطة تغطية الأدلة C.G. كتقيس واش تلقاو جميع القرائن، ونقطة تحديد عنق الزجاجة B.G. كتستعمل IoU الزمني وكتعتمد الوسيط الأضعف، وبهذا ما كيتغطاش ضعف وسيط بقوة الآخر.。
تقسيم دقيق للقدرات لثلاثة مستويات: من البحث وتحديد الموقع، للفهم الأساسي، ثم للاستدلال المعقد متعدد القفزات، وكيقدر يحدد الضعف ديال النموذج فكل عمق من أعماق الاستدلال.。
جودة عالية فالتعليم اليدوي: الأسئلة كيطوروها الخبراء، وكتدوز من المراجعة المتقاطعة ومن مراجعة مزدوجة من طرف خبيرين للعَيّنات المختلف عليها، وموثوقية البيانات أحسن من المعايير المشابهة المبنية أوتوماتيكياً.。
آلية صارمة لتصفية الطرق المختصرة: كيتفحصو الأسئلة بمدخلات نصية وصوتية وبصرية أحادية الوسيط، وكيتم حذف العينات اللي يمكن الجواب عليها بلا استدلال مشترك بين السمع والرؤية، باش يبقى التقييم عادل.。
كشف الفجوة الحقيقية فالقدرات: الاختبارات بينات أن الفرق بين أقوى نموذج والإنسان فدقة الأجوبة هو غير 17 نقطة مئوية، ولكن فـتحديد الموقع فالجوج ديال الوسائط كيوصل الفرق لـ59.2 نقطة مئوية، وهاد الشي كيكشف الضعف الحقيقي ديال النماذج الحالية.

الموقع الرسمي للمشروع：https://xiaoxing2001.github.io/EvaOmni.github.io/
مستودع GitHub：https://github.com/VisionXLab/EvaOmni
مستودع نماذج HuggingFace：https://huggingface.co/datasets/VisionXLab/EvaOmni-Dataset
البحث التقني فـarXiv：https://arxiv.org/pdf/2610.28444

تطوير وتقييم النماذج متعددة الوسائط: فرق النماذج ملي كتطوّر Omni LLM كتستعمل المؤشرات Acc./C.G./B.G. الثلاثة باش تحدد الفجوة بين “تحسّن الجواب ولكن تحديد الأدلة ما لحقش”، وتوجّه تحسينات التدريب.。
اختيار وقبول حلول الذكاء الاصطناعي فالشركات: فالمجالات بحال المالية والإدارة العمومية اللي خاص النموذج فيها “يعطي أساساً قابل للتحقق”، يقدر المشتري يستعمل نقطة تحديد عنق الزجاجة B.G. باش يختار النماذج الموثوقة فعلاً فالجوج ديال الوسائط.。
مراجعة محتوى الفيديو وتتبع مصدره: تطبيقات المراجعة كتحتاج النموذج يحدد المحتوى المخالف “فأي صورة وفأي مقطع صوتي” بان، والفترات الزمنية ومؤشرات تحديد الموقع ديال EvaOmni يقدرو يستعملو مباشرة كمعيار للقبول.。
منتجات الأسئلة والأجوبة فالتعليم والسينما: المساعدات التعليمية اللي فيها فيديو ومنتجات شرح الأفلام كتحتاج تستشهد بمقاطع من العمل الأصلي، وهاد المعيار يقدر يقيّم واش النموذج كيحدد اللقطات والحوار المرتبطين بدقة.。
البحث الأكاديمي وبناء الترتيبات: الباحثين يقدرو يستافدو من 392 فيديو مفتوح ومعلّم بالأدلة باش يديرو أبحاث إضافية فاستدلال السمع والرؤية، وتحديد الموقع الزمني، والاستدلال متعدد القفزات، أو يدمجوه فأنظمة تقييم مشتركة بين عدة معايير.