WeVisOne-VL Faoliyat yuritmoqda

WeVisOne-VL — Tencent WeChat vizual jamoasi tomonidan ochiq kod bilan taqdim etilgan, Qwen3-VL asosidagi vizual-lingvistik bazaviy model bo‘lib, 2B va 4B versiyalarini taklif qiladi. WeVisOne-VL yagona strukturaviy token bashorati usulidan foydalanib, bitta modelga aniqlash, referensial lokalizatsiya, sanash, ko‘rsatish, OCR, referensial segmentatsiya va prompt asosida fonni ajratish kabi yetti turdagi vazifani bir vaqtda bajarish imkonini beradi. Bor-yo‘g‘i 9,6 million parametrli piksel dekoderi orqali maska yoki soch tolalarigacha aniq fon ajratish natijasini bevosita chiqaradi, tashqi SAM talab qilinmaydi. WeVisOne-VL 100 milliondan ortiq tasvir va taxminan 3,6 milliard obyekt chegaralovchi qutilari asosida o‘qitilgan. Uch bosqichli kurrikulumli nozik sozlash va mustahkamlovchi o‘qitishdan so‘ng, 30 dan ortiq benchmarkda o‘xshash modellardan ustun natija ko‘rsatadi.

Obyektni aniqlash: “barcha itlarni top” kabi ko‘rsatmalar asosida tasvirdagi barcha obyektlarning chegaralovchi qutilarini bevosita chiqaradi.
Referensial lokalizatsiya: “qizil kiyimdagi odam” kabi tabiiy til tavsiflari orqali tasvirdagi muayyan obyektni aniqlaydi.
Sanash: tasvirda ko‘rsatilgan toifadagi nechta obyekt borligini aytadi.
Ko‘rsatish: “o‘sha piyola” kabi yo‘naltiruvchi tavsiflarni tushunib, ko‘rsatilgan obyektni topadi.
OCR: tasvirdagi matnni o‘qiydi va uning joylashuvini belgilaydi.
Referensial segmentatsiya: obyekt konturi bo‘ylab har bir pikselni belgilab, ikkilik maska chiqaradi.
Prompt asosida fonni ajratish: uzluksiz alpha kanalini chiqaradi, soch tolalari kabi yarim shaffof detallarni tabiiy saqlaydi va fonni bevosita almashtirish imkonini beradi.

WeChat’da kuzatib boring va “开源” deb javob yuboring, AI ochiq kodli loyihalar guruhiga qo‘shiling
Koordinata — token sifatida strukturaviy chiqarish: model koordinatalarni 1001 ta maxsus tokenga diskretlashtiradi; bitta chegara qutisi aynan 4 ta tokenni, bitta nuqta esa 2 ta tokenni egallaydi. Aniqlash qutilari, matn joylashuvi va piksel maskalari bir xil lug‘at yordamida ifodalanadi, so‘ng strukturaviy next-token bashorati orqali yagona usulda generatsiya qilinadi. Vazifani almashtirish uchun faqat prompt prefiksini o‘zgartirish kifoya; obyekt mavjud bo‘lmaganda esa bevosita None chiqariladi.
SAM kaskadi o‘rniga ichki piksel dekoderi: model Qwen3-VL bazasiga atigi 9,6 million parametrli kichik modulni ulaydi. Vizual xususiyatlar adapteri bazaning oldindan birlashtirilmagan to‘rtta ViT xususiyatini oladi va chuqur konvolyutsiyalar orqali ularni umumiy xususiyatlar piramidasiga aylantiradi. Har bir tokenning yashirin holati Furye kodlashi bilan berilgan chegara qutisi apriori bilan birlashtirilib, instansiya so‘rovini hosil qiladi. U 6 ta deformatsiyalanuvchi kross-attention bloki orqali iterativ ravishda takomillashtiriladi. Nihoyat, instansiyaga shartlangan zich bosh avval dinamik konvolyutsion yadrolar yordamida maskani bashorat qiladi, keyin S/4→S/2→S/1 dagi qo‘pol-dan-nozik kaskad orqali soch tolalarigacha aniq, to‘liq o‘lchamli alpha tasvirini tiklaydi. Butun jarayon SAM yoki boshqa tashqi segmentatsiya modellariga bog‘liq emas.
Kurrikulumli o‘qitish va aralash vazifali mustahkamlovchi o‘qitish: oldindan o‘qitishdan so‘ng model ketma-ket ravishda vazifaga moslashtirish, yuqori aniqlik va zich sahnalar, piksel darajasidagi uch bosqichli SFT jarayonlaridan o‘tadi. Yakunda noaniqlik asosida saralangan 178K ta namuna bilan aralash vazifali GRPO mustahkamlovchi o‘qitishi bajariladi. Natijada qutilar aniqroq, gallyutsinatsiyalar esa kamroq bo‘ladi. “Tasvirda obyekt bo‘lmasa ham quti chizish” va “tasvirda obyekt bor, ammo qutini o‘tkazib yuborish” kabi xatolar qattiq jazolanadi; bu obyektni rad etish qobiliyati va obyekt mavjud bo‘lgandagi lokalizatsiya aniqligini bir vaqtda oshiradi.
Bilim grafigi boshqaradigan ma’lumotlar dvigateli: toifalar va referensial ifodalar bilim grafigi asosida maqsadli ma’lumot to‘planadi. SAM3 va ichki DINO aniqlagichi nomzod qutilarni yaratadi, Qwen3-VL ularning haqiqiyligini o‘zaro tekshiradi, SAM2 ularni maskalarga kengaytiradi, BiRefNet va MatAnyone2 esa uzluksiz alpha nomzodlarini hosil qiladi. Namunalar IoU, qamrov, oldingi plan aniqligi va boshqa qator tekshiruvlardan o‘tgandagina qabul qilinadi; ayrimlari qo‘lda tekshiriladi. Model xatolari keyingi saralash bosqichiga qaytariladi. Natijada 100 milliondan ortiq tasvir va taxminan 3,6 milliard obyekt qutisi belgilandi hamda o‘zini takomillashtiruvchi belgilash yopiq sikli shakllandi.

Kodni olish: GitHub’dan Tencent/WeVisOne-VL repozitoriyasini klonlang va README bo‘yicha kerakli muhit hamda bog‘liqliklarni o‘rnating.
Modelni tayyorlash: Hugging Face’dan WeVisOne-VL-2B yoki WeVisOne-VL-4B og‘irliklarini yuklab oling.
Vazifa promptini tuzish: vazifaga qarab promptda talabni aniq yozing, masalan, aniqlash uchun “Locate all the instances of …”, referensial lokalizatsiya uchun obyekt tavsifini, fonni ajratish uchun esa alpha chiqarish talabini ko‘rsating. Mavjud belgilashlarni 、、 kabi strukturaviy teglar orqali uzatish mumkin.
Inferensiyani chaqirish: repozitoriyada taqdim etilgan model.predict() interfeysi orqali rasm va promptni modelga yuboring. Rasmiy saytdagi demo ham aynan shu interfeysdan foydalanadi.
Natijani tahlil qilish: model natijani tokenma-token generatsiya qiladi. Koordinatalar <0>–<1000> maxsus tokenlaridan normallashtirilgan koordinatalarga qayta tiklanadi, esa piksel dekoderini ishga tushirib, maska yoki alpha chiqaradi. Obyekt mavjud bo‘lmasa, None qaytariladi.
Keyingi ishlov va qo‘llash: quti, maska yoki fonni ajratish natijasini asl rasm o‘lchamiga moslang; undan qidiruv, belgilash, fonni almashtirish va boshqa quyi oqim vazifalarida foydalanish mumkin.

Ishonchli rad etish: tasvirda obyekt bo‘lmaganda “yo‘q” deb ayta oladi va javobni majburan to‘qimaydi, vizual idrok bosqichidagi gallyutsinatsiyalarni sezilarli kamaytiradi.
Bitta modelda ko‘p vazifa: aniqlash, referensial lokalizatsiya, sanash, ko‘rsatish, OCR, segmentatsiya va fonni ajratish kabi yetti vazifa bitta modeldan foydalanadi. Vazifani almashtirish uchun faqat promptni o‘zgartirish kifoya, ko‘p modelni birlashtirish, joylashtirish va qo‘llab-quvvatlash xarajatlari kamayadi.
Tashqi SAM talab qilinmaydi: ichki 9,6 million parametrli piksel dekoderi maska va soch tolalarigacha aniq fon ajratish natijasini bevosita chiqaradi hamda “aniqlagich+SAM+fonni ajratish modeli” uch bosqichli kaskadini almashtiradi.
Aniqlik va nozik tafsilotlar uyg‘unligi: 100 million tasvir va 3,6 milliard qutidan iborat keng ko‘lamli belgilash, kurrikulumli o‘qitish va aralash vazifali mustahkamlovchi o‘qitish tufayli model 30 dan ortiq benchmarkda umumiy VLM va maxsus modellardan bir vaqtda ustun. Fonni ajratish MAD ko‘rsatkichi deyarli ikki baravar kamayadi.
Ochiq kodli va joylashtirishga tayyor: 2B va 4B versiyalarining og‘irliklari, kodi va vositalar zanjiri to‘liq ochiq, Apache 2.0 litsenziyasi ostida taqdim etilgan. Uni vebda sinash yoki mahalliy ishga tushirish mumkin, bu kichik jamoalar uchun qulay.

Loyihaning rasmiy sayti: https://tencent.github.io/WeVisOne-VL/
GitHub repozitoriyasi: https://github.com/Tencent/WeVisOne-VL
Hugging Face model kutubxonasi: https://huggingface.co/collections/tencent/wevisone-vl
arXiv texnik maqolasi: https://arxiv.org/pdf/2610.31329

Kontent moderatsiyasi va xavfsizlik tekshiruvi: “yo‘q” deb ayta olish qobiliyati yordamida tasvirdagi taqiqlangan obyektlarni aniq topadi; topilmasa, buni ochiqchasiga bildiradi. Bu tekshiruvni o‘tkazib yuborish va noto‘g‘ri ijobiy natijalarni kamaytirib, WeChat kontent ekotizimi talablariga mos keladi.
E-tijorat mahsulotlari uchun fonni ajratish: mahsulot rasmini kiritib, soch tolalarigacha aniq alpha natijasini bevosita olish, bir bosishda oq fonli rasm yoki yangi fonli poster yaratish mumkin. Bu qo‘lda tahrirlash va ko‘p modeldan iborat jarayonni almashtiradi.
Hujjat va kvitansiyalarni strukturaviy qayta ishlash: OCR hamda joylashuv ma’lumotlari hisob-faktura, shartnoma va shakllarni koordinatalarga ega strukturaviy ma’lumotlarga aylantirib, avtomatik ma’lumot kiritish va hisoblarni solishtirish imkonini beradi.
Ma’lumotlarni belgilash va qidiruvni kuchaytirish: referensial lokalizatsiya va segmentatsiya yordamida quti hamda maskaga ega belgilash ma’lumotlarini ommaviy yaratish, yoki matn orqali rasm qidirishda butun rasm o‘rniga aniq obyekt hududini qaytarish mumkin. Bu quyi oqim modellari treningi va qidiruviga xizmat qiladi.
Robotlar va avtonom haydash idroki: chekka qurilmalarda muhitni idrok etish va obyektlar bilan ishlash uchun joylashtiriladi. Rad etish mexanizmi “havoni to‘siq deb qabul qilish” kabi gallyutsinatsiyalarning oldini olib, ish xavfsizligini oshiradi.