EvaOmni 운영 중

EvaOmni는 상하이교통대학교, 푸단대학교, 텐센트 유투 등이 오픈 소스로 공개한 전모달 대규모 모델 평가 벤치마크로, 실제 동영상 392개와 사람이 주석을 단 질의응답 1,027개를 포함하며 15가지 능력과 3개 추론 수준을 다룹니다. EvaOmni는 답변과 함께 오디오 및 비디오 증거의 시간 구간을 제시해야 하며, 답변 정확도, 증거 커버리지, 양모달 위치 지정의 세 가지 지표로 평가합니다. EvaOmni의 실제 평가에서 24개 모델 중 가장 강력한 Gemini3.7-Flash의 정확도는 79.4%였지만 양모달 위치 지정 점수는 35.1%에 불과했습니다. 인간 전문가의 94.3%와 59.2%포인트 차이가 나, 정답을 맞혀도 근거를 제시하지 못하는 한계를 드러냈습니다.

답변 평가: 시청각 객관식 문제에 대한 모델의 답변이 정확한지 판단하고 정확도 Acc.를 제공합니다.
증거 주석 및 반환: 각 문제에 대해 답변을 뒷받침하는 오디오와 비디오 시간 구간을 사람이 주석으로 표시하며, 모델은 답변과 함께 양모달 증거 구간을 반환해야 합니다.
증거 커버리지 점수(C.G.): 사람이 주석으로 표시한 증거 구간 중 모델의 예측 구간에 포함된 비율을 집계해 모델이 지원 단서를 얼마나 빠짐없이 찾았는지 측정합니다.
양모달 병목 위치 지정(B.G.): 오디오와 비디오 각각의 시간적 IoU를 계산한 뒤 더 낮은 모달리티의 점수를 최종 점수로 사용하여, 두 모달리티를 모두 정확하게 위치 지정하도록 요구합니다.
3단계 능력 분류: 검색·위치 지정, 기본 이해, 복잡한 추론으로 과제를 나누어 단일 지점 정렬부터 다단계 추론까지 모델의 능력 범위를 검증합니다.
지름길 필터링: 텍스트, 오디오, 비전 단일 모달 입력으로 문제를 선별해 하나의 모달리티나 문자 상식만으로 맞힐 수 있는 샘플을 제거합니다.
모델 비교 평가: 24개 전모달 모델에 대한 통일된 기준과 순위를 제공하며, 오픈 웨이트 모델과 독점 모델의 비교 및 선택을 지원합니다.

WeChat에서 팔로우한 뒤 “开源”라고 답장하여 AI 오픈 소스 프로젝트 교류 그룹에 가입하세요.
증거 인식형 주석 데이터 구조: EvaOmni는 각 문제에 오디오 증거 구간과 비디오 증거 구간을 동시에 주석으로 표시하고, 비디오 내용에 기반해 설계된 오답 선택지 세트를 함께 제공합니다. 따라서 모델 출력은 선택지, 오디오 타임스탬프 집합, 비디오 타임스탬프 집합의 세 요소로 정의되며, 평가 프로그램은 답변 정확성과 증거 위치 지정 품질을 각각 확인할 수 있습니다.
4단계 데이터 구축 파이프라인: 데이터 제작은 비디오 선별, 수동 주석, 교차 검수, 지름길 필터링의 네 단계로 진행됩니다. 먼저 하드코딩된 자막이나 화면을 넓게 덮는 텍스트가 포함된 비디오를 제외해 시청각 단서의 실제 유효성을 보장합니다. 전문가가 문제를 작성하고 비디오 내용과 연결된 오답 선택지를 설계한 뒤 두 모달리티의 증거 구간을 주석으로 표시합니다. 다른 주석자들이 능력 분류, 증거 품질, 지름길 문제를 교차 검수하며, 논란이 있는 샘플은 추가 전문가 2명이 독립적으로 재검토합니다. 이후 모델이 텍스트만, 오디오만, 비전만 사용하는 세 가지 단일 모달 입력으로 각각 답변하도록 하며, 단일 모달로 맞힐 수 있는 문제는 모두 수정 및 재주석합니다. 이를 통해 데이터 단계에서 “시청각 공동 추론을 우회하는” 지름길을 차단합니다.
커버리지와 위치 지정의 이중 지표 평가 체계: 증거 커버리지 점수 C.G.는 사람이 주석으로 표시한 각 증거 구간이 예측 구간 중 하나와 양의 시간 길이로 겹치는지 집계하여 찾았는지를 측정합니다. 병목 위치 지정 점수 B.G.는 각 모달리티에서 모든 예측 구간과 주석 구간을 각각 합집합으로 만든 뒤 시간적 교집합 대비 합집합 비율(IoU)로 겹침 정도를 계산하며, 최종 점수는 오디오와 비디오 IoU 중 더 낮은 값으로 결정합니다. 두 지표 모두 답변 정확도 점수를 곱하므로 오답은 0점입니다. 이 설계는 넓은 예측에는 커버리지 점수만 부여하고 정확한 경계에만 위치 지정 점수를 기여하게 하며, “약한 모달리티”로 점수를 결정해 강한 모달리티로 약한 모달리티를 보완하는 행위를 방지합니다.
3단계 능력 분류 설계: 데이터셋은 추론 및 증거 복잡도에 따라 세 수준으로 구성됩니다. Level 1 검색 및 위치 지정은 오디오와 비디오 사이에서 시간, 사건, 개체를 정렬하는 능력을 평가합니다. Level 2 기본 이해는 상호 보완적인 시청각 단서를 결합해 사건, 감정, 의도를 이해하도록 요구합니다. Level 3 복잡한 추론은 서로 다른 시점에 흩어진 여러 증거를 통합해 다단계 판단을 수행하도록 요구합니다. 수준이 높아질수록 문제당 증거 수와 커버리지 시간이 크게 증가하므로, 검색·이해·장거리 다단계 추론에서 모델의 능력 부족이 어느 수준에 있는지 구체적으로 파악할 수 있습니다.

ModelScope 클라이언트 설치: pip install -U modelscope를 실행해 ModelScope SDK를 설치하거나 업그레이드합니다.
데이터셋 다운로드: dataset_snapshot_download에 데이터셋 ID VisionXLab/EvaOmni-Dataset을 지정해 데이터를 로컬 디렉터리로 가져옵니다.
모델 입력 준비: 평가 프로토콜에 따라 비디오를 전처리하고 오디오 콘텐츠를 함께 준비합니다.
평가 대상 모델 연결: GitHub 저장소의 안내에 따라 전모달 모델을 연결하고, 통일된 프롬프트로 모델이 선택지, 오디오 타임스탬프, 비디오 타임스탬프의 세 요소를 출력하도록 합니다.
평가 실행: 평가 프레임워크를 호출해 1,027개 전체 질의응답에 대해 일괄 추론을 수행하면 프로그램이 답변과 구간 일치를 자동으로 확인합니다.
결과 확인: Acc., C.G., B.G. 세 지표와 3단계 능력별 점수를 확인하고 순위와 비교해 모델의 한계를 파악합니다.

증거 위치 지정을 평가에 포함: 모델이 오디오와 비디오 증거의 시간 구간을 반환하도록 요구해 우연히 맞힌 답변과 근거를 갖춘 답변을 구분합니다.
이중 지표로 증거 품질 정량화: 증거 커버리지 점수 C.G.는 단서를 빠짐없이 찾았는지 측정하고, 병목 위치 지정 점수 B.G.는 시간적 IoU에서 더 약한 모달리티의 점수를 사용해 강한 모달리티로 약한 모달리티를 가리는 일을 방지합니다.
세분화된 3단계 능력 분류: 검색 및 위치 지정, 기본 이해, 복잡한 다단계 추론으로 단계적으로 심화되어 다양한 추론 깊이에서 모델의 구체적인 한계를 파악할 수 있습니다.
높은 수동 주석 품질: 전문가의 문제 출제, 교차 검수, 논란이 있는 샘플에 대한 전문가 2인의 재검토를 거쳐 자동 생성된 유사 벤치마크보다 데이터 신뢰도가 높습니다.
엄격한 지름길 필터링: 텍스트, 오디오, 비전 세 가지 단일 모달 입력으로 문제를 선별해 시청각 공동 추론을 우회해 맞힐 수 있는 샘플을 제거하고 평가의 공정성을 보장합니다.
실제 능력 격차를 제시: 실제 평가에서 가장 강력한 모델의 답변 정확도는 인간과 17%포인트 차이에 불과했지만, 양모달 위치 지정은 59.2%포인트 차이가 나 현재 모델의 실제 한계를 드러냈습니다.

프로젝트 공식 웹사이트: https://xiaoxing2001.github.io/EvaOmni.github.io/
GitHub 저장소: https://github.com/VisionXLab/EvaOmni
HuggingFace 모델 저장소: https://huggingface.co/datasets/VisionXLab/EvaOmni-Dataset
arXiv 기술 논문: https://arxiv.org/pdf/2610.28444

전모달 모델 연구개발 및 평가: 모델 팀은 Omni LLM을 반복 개선할 때 Acc./C.G./B.G. 세 지표를 사용해 “답변은 향상됐지만 증거 위치 지정이 따라오지 못하는” 능력 단절을 파악하고 학습 개선 방향을 정합니다.
기업용 AI 모델 선정 및 검수: 금융, 행정 등 모델이 “검증 가능한 근거를 제시해야 하는” 분야에서 구매자는 B.G. 병목 위치 지정 점수를 통해 실제로 신뢰할 수 있는 양모달 모델을 선별할 수 있습니다.
비디오 콘텐츠 검수 및 추적성: 검수 애플리케이션은 모델이 위반 콘텐츠가 “어느 화면, 어느 소리 구간”에 나타나는지 지적해야 하며, EvaOmni의 시간 구간 출력과 위치 지정 지표를 검수 기준으로 직접 활용할 수 있습니다.
교육 및 영화·영상 콘텐츠 질의응답 제품: 비디오 학습 도우미와 영화·영상 해설 제품은 원본 장면을 인용해 답변해야 하므로, 이 벤치마크로 모델이 관련 장면과 대사를 정확하게 찾을 수 있는지 평가할 수 있습니다.
학술 연구 및 순위표 구축: 연구자는 오픈 소스로 공개된 증거 주석 비디오 392개를 바탕으로 시청각 추론, 시간 위치 지정, 다단계 추론 등을 추가 연구하거나 이를 여러 벤치마크를 결합한 평가 체계에 포함할 수 있습니다.