WeVisOne-VL Inafanya kazi

WeVisOne-VL ni modeli ya msingi ya kuona-lugha iliyotolewa kama chanzo huria na timu ya Tencent WeChat Vision, inayotegemea Qwen3-VL, ikiwa na matoleo mawili ya 2B na 4B. WeVisOne-VL hutumia utabiri wa tokeni zilizoundwa kwa muundo mmoja, ikiwezesha modeli moja kutekeleza kwa wakati mmoja kazi saba: utambuzi wa vitu, ujanibishaji wa marejeo, kuhesabu, kuelekeza, OCR, ugawaji wa marejeo na uondoaji wa mandharinyuma unaoweza kuongozwa. Kwa kutumia dekoda ya pikseli yenye vigezo milioni 9.6 pekee, hutoa moja kwa moja maski au alpha ya kiwango cha nywele bila kuhitaji SAM ya nje. Data ya mafunzo ya WeVisOne-VL ina zaidi ya picha milioni 100 na takriban visanduku lengwa bilioni 3.6. Baada ya urekebishaji wa hatua tatu kwa mtindo wa mtaala pamoja na ujifunzaji wa kuimarisha, inaongoza modeli zinazofanana katika alama zaidi ya 30.

Utambuzi wa vitu: Inaweza kutoa moja kwa moja visanduku vyote vya vitu kwenye picha kulingana na maagizo kama ”tafuta mbwa wote”.
Ujanibishaji wa marejeo: Inaweza kubainisha kitu maalum kwenye picha kulingana na maelezo ya lugha asilia kama ”mtu aliyevaa nguo nyekundu”.
Kuhesabu: Kujibu ni vitu vingapi vya aina maalum vilivyo kwenye picha.
Kuelekeza: Kuelewa maelezo ya kuelekeza kama ”kikombe kile” na kupata kitu kinachoonyeshwa.
OCR: Kusoma maandishi kwenye picha na kubainisha mahali yalipo.
Ugawaji wa marejeo: Kuchora kando ya umbo la lengo pikseli kwa pikseli na kutoa maski ya jozi.
Uondoaji wa mandharinyuma unaoweza kuongozwa: Kutoa chaneli ya alpha endelevu, huku maelezo ya uwazi nusu kama nywele yakihifadhiwa kwa asili, tayari kwa kubadilisha mandharinyuma.

Fuata WeChat na ujibu “开源” ili kujiunga na kikundi cha mawasiliano cha miradi ya AI ya chanzo huria
Matokeo yaliyoundwa ambapo koordinati ni tokeni: Modeli hubadilisha koordinati kuwa tokeni 1001 maalum; kisanduku kimoja hutumia tokeni 4 kamili, na nukta moja hutumia tokeni 2. Visanduku vya utambuzi, nafasi za maandishi na maski za pikseli zote huwakilishwa kwa kamusi moja, kisha huzalishwa kwa pamoja kupitia utabiri wa structured next-token. Kubadilisha kazi kunahitaji tu kubadilisha kiambishi cha prompt; lengo lisipokuwepo, modeli hutoa None moja kwa moja.
Dekoda ya pikseli iliyojengewa ndani badala ya mnyororo wa SAM: Nje ya msingi wa Qwen3-VL, modeli ina moduli ndogo yenye vigezo milioni 9.6 pekee. Adapta ya vipengele vya kuona huchukua vipengele vya tabaka nne za ViT kabla ya kuunganishwa kwenye msingi, kisha kuviboresha kwa konvolusheni za kina ili kuunda piramidi ya vipengele inayoshirikiwa. Hali fiche ya kila tokeni huunganishwa na kipaumbele cha kisanduku kilichowekewa msimbo wa Fourier ili kuunda hoja ya mfano. Hoja hiyo huboreshwa kwa kurudia kupitia vizuizi 6 vya umakini mtambuka vinavyoweza kubadilika. Mwishowe, kichwa kizito chenye masharti ya mfano hutumia kiini cha konvolusheni kinachobadilika kutabiri maski, kisha kurejesha alpha ya azimio kamili kwa kiwango cha nywele kupitia mnyororo wa S/4→S/2→S/1 kutoka ukali wa chini hadi wa juu. Mchakato wote hautegemei modeli za nje za ugawaji kama SAM.
Mafunzo ya mtindo wa mtaala pamoja na ujifunzaji wa kuimarisha wa kazi mchanganyiko: Baada ya mafunzo ya awali, modeli hupitia kwa mfuatano SFT ya hatua tatu: ulinganifu wa kazi, azimio la juu na mandhari yenye msongamano, na kiwango cha pikseli. Mwishowe hutumia sampuli 178K zilizochaguliwa kwa kutokuwa na uhakika kwa ujifunzaji wa kuimarisha wa GRPO wa kazi mchanganyiko. Visanduku huwa sahihi zaidi na udanganyifu hupungua. Makosa mawili, “kuweka kisanduku hata kama hakuna lengo kwenye picha” na “kukosa kisanduku ingawa lengo lipo kwenye picha”, hupewa adhabu maalum, hivyo uwezo wa kukataa kutambua na usahihi wa ujanibishaji wakati lengo lipo huimarika kwa pamoja.
Injini ya data inayoendeshwa na grafu ya maarifa: Kwa kutumia grafu ya maarifa ya kategoria na misemo ya marejeo kwa ajili ya ukusanyaji unaolengwa, SAM3 pamoja na kigunduzi cha ndani cha DINO hutengeneza visanduku pendekezo, Qwen3-VL hukagua ukweli wake, SAM2 hupanua visanduku hivyo kuwa maski, na BiRefNet pamoja na MatAnyone2 hutengeneza alpha endelevu za pendekezo. Sampuli lazima zipitishe mfululizo wa ukaguzi kama IoU, kiwango cha ufunikaji na usahihi wa mandharinyuma kabla ya kukubaliwa; baadhi hukaguliwa na binadamu. Makosa ya modeli hurudishwa kwenye awamu inayofuata ya uchujaji. Kwa jumla, zaidi ya picha milioni 100 na takriban visanduku lengwa bilioni 3.6 vimewekewa lebo, na kuunda mzunguko wa kujiboresha wa uwekaji lebo.

Pata msimbo: Kamilisha kloni ya hazina ya Tencent/WeVisOne-VL kutoka GitHub na usakinishe mazingira ya utegemezi kulingana na README.
Andaa modeli: Pakua uzani wa WeVisOne-VL-2B au WeVisOne-VL-4B kutoka Hugging Face.
Unda prompt ya kazi: Eleza mahitaji kwenye prompt kulingana na kazi, kama vile ”Locate all the instances of …” kwa utambuzi, maelezo ya lengo kwa ujanibishaji wa marejeo, au hitaji la alpha kwa uondoaji wa mandharinyuma. Pia unaweza kupitisha lebo zilizopo kupitia lebo zilizoundwa kama 、、.
Tekeleza uelekezaji: Tumia kiolesura cha model.predict() kilichotolewa na hazina, ambacho ndicho kiolesura kinachoonyeshwa kwenye tovuti rasmi, kutuma picha pamoja na prompt kwenye modeli.
Changanua matokeo: Modeli huzalisha matokeo tokeni moja baada ya nyingine. Koordinati kutoka tokeni maalum za <0>–<1000> hurejeshwa kuwa koordinati zilizorekebishwa, na huanzisha dekoda ya pikseli kutoa maski au alpha. Lengo lisipokuwepo, hurejesha None.
Tumia uchakataji wa baadae: Rudisha visanduku, maski au matokeo ya uondoaji wa mandharinyuma kwenye ukubwa wa picha asilia; vinaweza kutumika kwa utafutaji, uwekaji lebo, kubadilisha mandharinyuma na kazi nyingine za chini.

Uwezo wa kukataa kutambua ni wa kuaminika: Lengo lisipokuwepo kwenye picha, huthubutu kusema ”halipo” badala ya kulazimisha jibu, hivyo kupunguza kwa kiasi kikubwa udanganyifu katika utambuzi wa kuona.
Modeli moja, kazi nyingi: Utambuzi, ujanibishaji wa marejeo, kuhesabu, kuelekeza, OCR, ugawaji na uondoaji wa mandharinyuma hushirikisha modeli moja; kubadilisha kazi kunahitaji tu kubadilisha prompt, hivyo kuondoa gharama ya kupeleka na kudumisha modeli nyingi.
Hakuna SAM ya nje: Dekoda ya pikseli yenye vigezo milioni 9.6 iliyojengewa ndani hutoa moja kwa moja maski na alpha ya kiwango cha nywele, badala ya mnyororo wa hatua tatu wa ”kigunduzi+SAM+modeli ya uondoaji wa mandharinyuma”, na kufanya mchakato wa uelekezaji kuwa mfupi.
Usahihi na ukamilifu wa maelezo kwa pamoja: Uwekaji lebo mkubwa wa picha milioni 100 na visanduku bilioni 3.6, pamoja na mafunzo ya mtindo wa mtaala na ujifunzaji wa kuimarisha wa kazi mchanganyiko, huifanya iongoze VLM za jumla na modeli maalum katika alama zaidi ya 30, huku MAD ya uondoaji wa mandharinyuma ikikaribia kupungua kwa nusu.
Chanzo huria na inayoweza kupelekwa: Uzani, msimbo na mnyororo wa zana wa matoleo ya 2B na 4B umefunguliwa kikamilifu chini ya leseni ya Apache 2.0. Inaweza kujaribiwa kwenye wavuti au kuendeshwa ndani ya kompyuta, na inafaa kwa timu ndogo.

Tovuti rasmi ya mradi: https://tencent.github.io/WeVisOne-VL/
Hazina ya GitHub: https://github.com/Tencent/WeVisOne-VL
Mkusanyiko wa modeli wa HuggingFace: https://huggingface.co/collections/tencent/wevisone-vl
Karatasi ya kiteknolojia ya arXiv: https://arxiv.org/pdf/2610.31329

Ukaguzi wa maudhui na utambuzi wa usalama: Kwa uwezo wa kukataa kutambua unaothubutu kusema ”hakuna”, hutambua kwa usahihi vitu vilivyokiuka sheria kwenye picha; kisipopatikana, hurejesha wazi kuwa hakuna, na hivyo kupunguza maudhui yanayokosa kukaguliwa na taharuki za uongo, kulingana na mahitaji ya mfumo wa maudhui wa WeChat.
Uondoaji wa mandharinyuma ya bidhaa za biashara ya mtandaoni: Ingiza picha ya bidhaa ili kupata moja kwa moja alpha ya kiwango cha nywele, kutengeneza picha za mandharinyuma meupe na mabango yenye mandharinyuma mapya kwa mbofyo mmoja, na kuchukua nafasi ya uhariri wa mikono pamoja na mchakato wa kuunganisha modeli nyingi.
Uundaji wa data ya hati na risiti: OCR pamoja na matokeo ya nafasi hubadilisha ankara, mikataba na fomu kuwa data iliyoundwa yenye koordinati, na kuwezesha kuingiza rekodi na kulinganisha hesabu kiotomatiki.
Uwekaji lebo wa data na utafutaji ulioboreshwa: Tumia ujanibishaji wa marejeo na ugawaji kuzalisha kwa wingi data yenye visanduku na maski, au wakati wa kutafuta picha kwa maandishi, rudisha eneo sahihi la lengo badala ya picha nzima ili kusaidia mafunzo ya modeli na utafutaji wa kazi za chini.
Utambuzi wa roboti na magari yanayojiendesha: Ikiwekwa kwenye kifaa cha mwisho, hutambua mazingira na kulenga vitu vya kuendesha. Utaratibu wa kukataa kutambua huepuka udanganyifu wa ”kuchukulia hewa kuwa kizuizi” na huongeza usalama wa kazi.