WeVisOne-VL 운영 중

WeVisOne-VL은 Tencent WeChat 비전 팀이 오픈 소스로 공개한 비전-언어 기반 모델로, Qwen3-VL을 기반으로 하며 2B와 4B 두 가지 버전을 제공합니다. WeVisOne-VL은 통합 구조화 토큰 예측 방식을 사용해 하나의 모델로 객체 탐지, 지시 대상 위치 지정, 개수 세기, 지시 대상 지정, OCR, 지시 대상 분할, 프롬프트 기반 이미지 매팅의 7가지 작업을 동시에 수행합니다. 또한 960만 개의 파라미터만 사용하는 픽셀 디코더를 통해 외부 SAM 없이 마스크 또는 모발 수준의 매팅 결과를 직접 출력합니다. WeVisOne-VL은 1억 장이 넘는 이미지와 약 36억 개의 객체 박스로 학습되었으며, 3단계 커리큘럼 방식의 파인튜닝과 강화 학습을 거쳐 30개가 넘는 벤치마크에서 동급 모델을 앞섭니다.

객체 탐지: “모든 개를 찾아라”와 같은 명령에 따라 이미지 속 모든 객체의 박스를 직접 출력할 수 있습니다.
지시 대상 위치 지정: “빨간 옷을 입은 사람”과 같은 자연어 설명을 바탕으로 이미지 속 특정 대상을 찾을 수 있습니다.
개수 세기: 이미지에 지정된 유형의 객체가 몇 개 있는지 답합니다.
지시 대상 지정: “저 컵”과 같은 지시 표현을 이해하고 가리킨 객체를 찾습니다.
OCR: 이미지 속 텍스트를 읽고 해당 위치를 표시합니다.
지시 대상 분할: 객체의 윤곽을 픽셀 단위로 따라 그려 이진 마스크를 출력합니다.
프롬프트 기반 이미지 매팅: 연속적인 alpha 채널을 출력해 머리카락과 같은 반투명한 세부 정보를 자연스럽게 보존하며, 바로 배경을 교체할 수 있습니다.

WeChat 공식 계정을 팔로우한 뒤 “开源”에 답장하여 AI 오픈 소스 프로젝트 교류 그룹에 가입하세요
좌표를 토큰으로 사용하는 구조화된 출력: 모델은 좌표를 1001개의 전용 토큰으로 이산화합니다. 하나의 박스는 정확히 4개의 토큰, 하나의 점은 2개의 토큰을 차지합니다. 탐지 박스, 텍스트 위치, 픽셀 마스크를 모두 동일한 어휘로 표현한 뒤 구조화된 next-token 예측으로 통합 생성합니다. 작업을 바꿀 때는 prompt 접두사만 변경하면 되며, 대상이 없으면 즉시 None을 출력합니다.
내장 픽셀 디코더로 SAM 연쇄 구성을 대체: 모델은 Qwen3-VL 기반 모델 외부에 960만 개의 파라미터만 사용하는 소형 모듈을 연결합니다. 시각 특징 어댑터는 기반 모델의 사전 병합 전 4개 ViT 특징을 가져와 깊이별 컨볼루션으로 정제한 공유 특징 피라미드를 구성합니다. 각 토큰의 은닉 상태에 푸리에 인코딩된 박스 사전 정보를 더해 인스턴스 쿼리를 만들고, 6개의 변형 교차 어텐션 블록을 통해 반복적으로 정제합니다. 마지막으로 인스턴스 조건부 밀집 헤드가 동적 커널로 마스크를 예측한 뒤 S/4→S/2→S/1의 거친 단계부터 세밀한 단계까지 연쇄적으로 복원해 모발 수준의 전체 해상도 alpha 매팅을 생성합니다. 전 과정에서 SAM과 같은 외부 분할 모델에 의존하지 않습니다.
커리큘럼 학습과 혼합 작업 강화 학습: 사전 학습 후 작업 정렬, 고해상도 및 밀집 장면, 픽셀 수준의 3단계 SFT를 차례로 거칩니다. 마지막으로 불확실성으로 선별한 178K개의 샘플을 사용해 혼합 작업 GRPO 강화 학습을 수행합니다. 그 결과 박스가 더 정확해지고 환각이 줄어듭니다. 특히 “이미지에 대상이 없어도 박스를 그리는 경우”와 “이미지에 대상이 있는데도 박스를 놓치는 경우”를 중점적으로 penalize하여, 거부 인식 능력과 대상이 있을 때의 위치 지정 정확도를 함께 향상합니다.
지식 그래프 기반 데이터 엔진: 클래스와 지시 표현의 지식 그래프를 활용해 목표 지향적으로 데이터를 수집합니다. SAM3와 내부 DINO 검출기가 후보 박스를 생성하고, Qwen3-VL이 진위를 교차 검증하며, SAM2가 마스크로 확장하고, BiRefNet과 MatAnyone2가 연속적인 alpha 후보를 생성합니다. 샘플은 IoU, 커버리지, 전경 정확도 등 일련의 검사를 통과해야 채택되며 일부는 사람이 직접 추출 검사합니다. 모델이 범한 오류는 다음 선별 과정으로 다시 유입됩니다. 누적 1억 장이 넘는 이미지와 약 36억 개의 객체 박스를 주석 처리하여 자체 개선형 주석 순환 구조를 형성합니다.

코드 받기: GitHub에서 Tencent/WeVisOne-VL 저장소를 복제하고 README에 따라 의존 환경을 설치합니다.
모델 준비: Hugging Face에서 WeVisOne-VL-2B 또는 WeVisOne-VL-4B 가중치를 다운로드합니다.
작업 프롬프트 구성: 작업에 맞게 prompt에 요구사항을 작성합니다. 예를 들어 탐지에는 “Locate all the instances of …”를 사용하고, 지시 대상 위치 지정에는 대상을 설명하며, 매팅에는 alpha 출력을 요구할 수 있습니다. 또한 、、 등의 구조화 태그를 통해 기존 주석을 전달할 수 있습니다.
추론 호출: 저장소에서 제공하는 model.predict() 인터페이스(공식 웹사이트 데모에서도 이 인터페이스를 사용)를 이용해 이미지와 프롬프트를 모델에 입력합니다.
출력 해석: 모델은 결과를 토큰 단위로 생성합니다. 좌표는 <0>–<1000> 전용 토큰에서 정규화 좌표로 복원되며, 픽셀 디코더를 작동시켜 마스크 또는 alpha를 출력합니다. 대상이 없으면 None을 반환합니다.
후처리 및 활용: 박스, 마스크 또는 매팅 결과를 원본 이미지 크기에 맞춰 변환하여 검색, 주석 처리, 배경 교체 등의 후속 작업에 사용할 수 있습니다.

신뢰할 수 있는 거부 인식: 이미지에 대상이 없을 때 “없음”이라고 답하며 억지로 답을 만들어내지 않아 시각 인식 단계의 환각을 크게 줄입니다.
하나의 모델로 여러 작업 수행: 탐지, 지시 대상 위치 지정, 개수 세기, 지시 대상 지정, OCR, 분할, 매팅의 7가지 작업이 동일한 모델을 공유합니다. 작업을 바꿀 때는 프롬프트만 변경하면 되므로 여러 모델을 조합하는 배포 및 유지 관리 비용이 줄어듭니다.
외부 SAM 불필요: 960만 개의 파라미터로 구성된 픽셀 디코더가 내장되어 마스크와 모발 수준의 매팅 결과를 직접 출력합니다. “검출기+SAM+매팅 모델”의 3단계 연쇄 구성을 대체해 추론 과정이 짧습니다.
정확도와 세밀한 표현을 동시에 확보: 1억 장의 이미지와 36억 개의 박스를 활용한 대규모 주석, 커리큘럼 학습, 혼합 작업 강화 학습을 통해 30개가 넘는 벤치마크에서 범용 VLM과 전용 모델을 모두 앞섭니다. 매팅 MAD는 거의 절반으로 감소했습니다.
오픈 소스 및 배포 가능: 2B와 4B 두 가지 버전의 가중치, 코드, 도구 체인을 모두 공개하며 Apache 2.0 라이선스를 적용합니다. 웹에서 체험하거나 로컬에서 실행할 수 있어 소규모 팀에도 적합합니다.

프로젝트 공식 웹사이트：https://tencent.github.io/WeVisOne-VL/
GitHub 저장소：https://github.com/Tencent/WeVisOne-VL
Hugging Face 모델 컬렉션：https://huggingface.co/collections/tencent/wevisone-vl
arXiv 기술 논문：https://arxiv.org/pdf/2610.31329

콘텐츠 검토 및 안전 검사: “없다고 말할 수 있는” 거부 인식 능력으로 이미지 속 규정 위반 객체를 정확하게 찾아냅니다. 찾지 못하면 명확하게 없다고 반환하여 검토 누락과 오탐을 줄이고 WeChat 콘텐츠 생태계의 검토 요구에 부합합니다.
전자상거래 상품 매팅: 상품 이미지를 입력하면 모발 수준의 alpha 매팅 결과를 직접 출력하여 흰색 배경 이미지와 배경 교체용 포스터를 한 번에 생성합니다. 수동 이미지 편집과 여러 모델을 조합한 파이프라인을 대체할 수 있습니다.
문서 및 영수증 구조화: 위치 정보가 포함된 OCR 결과를 통해 송장, 계약서, 양식을 좌표가 있는 구조화 데이터로 변환하여 자동 입력 및 대조를 구현합니다.
데이터 주석 및 검색 강화: 지시 대상 위치 지정과 분할 기능으로 박스와 마스크가 포함된 주석 데이터를 대량 생성하거나, 텍스트로 이미지를 검색할 때 전체 이미지가 아닌 정확한 대상 영역을 반환하여 후속 모델 학습과 검색을 지원합니다.
로봇 및 자율주행 인식: 엣지 환경에 배포해 주변 환경을 인식하고 대상을 조작합니다. 거부 인식 메커니즘으로 “허공을 장애물로 인식하는” 환각을 방지해 작업 안전성을 높입니다.