WeVisOne-VL خدام

WeVisOne-VL هو موديل أساسي مفتوح المصدر فمجال الرؤية واللغة طوّراتو فرقة الرؤية ديال Tencent WeChat، مبني على Qwen3-VL، وكاين بجوج الإصدارات 2B و4B. WeVisOne-VL كيستعمل طريقة موحّدة للتنبؤ بـ structured tokens، باش موديل واحد يدير فآن واحد سبعة ديال المهام: الكشف، تحديد العناصر بالإحالة، العد، الإشارة، OCR، التقسيم بالإحالة، وقصّ الصور القابل للتوجيه. وكيخرج الماسك ولا alpha matte بجودة ديال تفاصيل الشعر مباشرة باستعمال pixel decoder فيه غير 9.6 مليون بارامتر، بلا حاجة لـ SAM خارجي. بيانات التدريب ديال WeVisOne-VL فيها أكثر من 100 مليون صورة وحوالي 3.6 مليار bounding box، وتدار ليها fine-tuning على شكل مراحل مع reinforcement learning، وسبق موديلات من نفس الفئة فكثر من 30 benchmark.

الكشف على الأهداف: يقدر يخرج مباشرة جميع bounding boxes ديال الأهداف اللي فالصورة بناءً على تعليمات بحال «لقا جميع الكلاب».
تحديد العناصر بالإحالة: يقدر يحدد الهدف المعني فالصورة بناءً على وصف باللغة الطبيعية بحال «الشخص اللي لابس الحمر».
العد: كيجيب عدد الأشياء من الفئة المحددة اللي كاينة فالصورة.
الإشارة: كيفهم أوصاف الإشارة بحال «داك الكاس»، وكيقلب على الشيء المقصود.
OCR: كيقرأ النص اللي فالصورة وكيحدد المكان ديالو.
التقسيم بالإحالة: كيرسم على حدود الهدف بكسل بكسل وكيخرج binary mask.
قصّ الصور القابل للتوجيه: كيخرج alpha channel متواصل، وكيخلي التفاصيل شبه الشفافة بحال الشعر باينة بشكل طبيعي، ويمكن تبديل الخلفية مباشرة.

إلى بغيتي تنضم لمجموعة مشاريع AI مفتوحة المصدر، تابع WeChat وردّ بـ «开源».
إخراج منظّم بحيث الإحداثيات هي tokens: الموديل كيفرّق الإحداثيات لـ 1001 token مخصص، وكل box كياخذ بالضبط 4 tokens وكل point كياخذ 2 tokens. Bounding boxes، مواضع النصوص، وpixel masks كاملين كيتعبّرو بنفس vocabulary، ومن بعد كيتولدو بطريقة موحّدة عبر structured next-token prediction. تبديل المهمة كيتطلب غير تبديل prompt prefix، وإلى ما كانش الهدف كيتخرج None مباشرة.
Pixel decoder مدمج عوض cascade ديال SAM: الموديل مربوط بQwen3-VL backbone بوحدة صغيرة فيها غير 9.6 مليون بارامتر. Visual feature adapter كياخذ أربع طبقات من ViT features قبل الدمج المسبق ديال backbone، وكيصقلها بـ depthwise convolution باش يكوّن feature pyramid مشتركة. Hidden state ديال كل token كيتجمع مع prior ديال box مشفّر بـ Fourier encoding باش يتكوّن instance query، وكيصقل عبر 6 كتل ديال deformable cross-attention. فالأخير، instance-conditioned dense head كيتنبأ بالmask باستعمال dynamic convolution kernel، ومن بعد كيرجع alpha matte كامل الدقة بتدرّج خشن إلى دقيق من S/4→S/2→S/1، مع تفاصيل الشعر، بلا اعتماد على SAM ولا أي موديل خارجي للتقسيم.
تدريب على شكل مراحل مع reinforcement learning لمهام مختلطة: من بعد pretraining، كيدوز الموديل بالتتابع من task alignment، وhigh-resolution والمشاهد الكثيفة، ثم ثلاث مراحل ديال pixel-level SFT. فالأخير كيدير mixed-task GRPO reinforcement learning باستعمال 178K عينة مختارة حسب عدم اليقين. هاد الشي كيحسّن دقة الصناديق وكيقلل الهلوسة، وكيعاقب بالخصوص جوج أنواع ديال الأخطاء: «خاصو يرسم box حتى إلا ما كانش الهدف فالصورة» و«كاين الهدف فالصورة ولكن ما رسمش عليه box». النتيجة هي تحسن متزامن فالتعرّف على غياب الهدف ودقة التحديد ملي كيكون الهدف موجود.
Data engine مدفوع بـ knowledge graph: كيتستعمل knowledge graph ديال الفئات والتعابير الإشارية لجمع البيانات بشكل موجّه. SAM3 مع internal DINO detector كيخرجو candidate boxes، وQwen3-VL كيدير cross-validation باش يتأكد من صحتها، وSAM2 كيوسّعها لـ masks، وBiRefNet وMatAnyone2 كيولدو continuous alpha candidates. العينة خاصها تدوز من سلسلة ديال الاختبارات بحال IoU، وcoverage، وforeground precision باش تتقبل، مع فحص يدوي جزئي. الأخطاء اللي كيديرها الموديل كترجع لجولة الفرز الموالية، وبهذا تجمعات أكثر من 100 مليون صورة وحوالي 3.6 مليار bounding box، وتكوّنت حلقة وسم كتتحسن بوحدها.

جيب الكود: كلونِي repository ديال Tencent/WeVisOne-VL من GitHub وثبّت environment والاعتماديات حسب README.
وجد الموديل: حمّل weights ديال WeVisOne-VL-2B ولا WeVisOne-VL-4B من Hugging Face.
كوّن task prompt: كتب الطلب فـ prompt حسب المهمة، بحال detection باستعمال «Locate all the instances of …»، ووصف الهدف فـ referring localization، وطلب إخراج alpha فـ image matting. وتقدر تدوز annotations موجودة باستعمال tags منظّمة بحال ،، .
عيّط على inference: استعمل interface ديال model.predict() اللي كيوفرو repository، وهو نفس interface اللي مستعمل فالعرض الرسمي، وصيفط الصورة مع prompt للموديل.
حلّل output: الموديل كيولد النتيجة token بtoken، والإحداثيات كتترجع من tokens الخاصة <0>–<1000> لإحداثيات normalized. كيشغّل pixel decoder باش يخرج mask ولا alpha، وإلى ما كانش الهدف كيرجع None.
طبّق post-processing: رجّع boxes ولا masks ولا نتائج القصّ لحجم الصورة الأصلي، واستعملها فـ retrieval، والوسم، وتبديل الخلفية، ولا مهام أخرى لاحقة.

التعرّف الموثوق على غياب الهدف: ملي ما كيكونش الهدف فالصورة كيقدر يقول «ما كاينش»، وما كيبقاش كيخمن جواب، وهاد الشي كيقلل بزاف من الهلوسة فمرحلة الإدراك البصري.
موديل واحد لمهام متعددة: الكشف، تحديد العناصر بالإحالة، العد، الإشارة، OCR، التقسيم، والقصّ كيتخدمو كاملين بنفس الموديل. تبديل المهمة كيتطلب غير تبديل prompt، بلا تكلفة تركيب وصيانة موديلات متعددة.
بلا SAM خارجي: pixel decoder مدمج فيه 9.6 مليون بارامتر كيخرج مباشرة masks وalpha matte بتفاصيل الشعر، وكيعوّض cascade ديال «detector+SAM+matting model»، وكيقصّر سلسلة inference.
الدقة والتفصيل فآن واحد: وسم واسع النطاق على 100 مليون صورة و3.6 مليار box، مع التدريب المرحلي وreinforcement learning لمهام مختلطة، خلاه يسبق VLMs العامة والموديلات المتخصصة فكثر من 30 benchmark، ومقياس MAD ديال القصّ تقريبا تنصّف.
مفتوح المصدر وساهل النشر: weights والكود وtoolchain ديال الإصدارين 2B و4B كاملين مفتوحين برخصة Apache 2.0، ويمكن تجربتو فالويب ولا تشغيلو محليا، وهاد الشي مناسب للفرق الصغيرة.

الموقع الرسمي: https://tencent.github.io/WeVisOne-VL/
Repository ديال GitHub: https://github.com/Tencent/WeVisOne-VL
مستودع الموديل فـ Hugging Face: https://huggingface.co/collections/tencent/wevisone-vl
الورقة التقنية فـ arXiv: https://arxiv.org/pdf/2610.31329

مراجعة المحتوى والكشف على المخاطر: بفضل القدرة ديالو يقول «ما كاينش» بثقة، كيقدر يلقى بدقة الأشياء المخالفة فالصورة، وإلى ما لقا والو كيرجع بوضوح أنه ما كاين حتى هدف. هاد الشي كيقلل المراجعة الناقصة والإنذارات الكاذبة، وكيوافق احتياجات مراجعة محتوى WeChat.
قصّ صور المنتجات فالتجارة الإلكترونية: دخل صورة المنتج وخرج مباشرة alpha matte بتفاصيل الشعر، وولّد بنقرة وحدة صورة بخلفية بيضاء ولا poster بخلفية جديدة، بلا retouching يدوي ولا pipeline مركّب من موديلات متعددة.
هيكلة الوثائق والفواتير: OCR مع إخراج المواضع كيحوّل الفواتير والعقود والاستمارات لبيانات منظّمة بالإحداثيات، وكيحقق الإدخال والمطابقة بشكل آلي.
وسم البيانات وتعزيز البحث: استعمل referring localization والتقسيم باش تنتج دفعات ديال بيانات موسومة بـ boxes وmasks، ولا رجّع المنطقة الدقيقة ديال الهدف فالبحث بالنص بدل الصورة كاملة، لخدمة تدريب الموديلات والبحث اللاحق.
الإدراك ديال الروبوتات والقيادة الذاتية: النشر على الأجهزة الطرفية كيساعد فإدراك المحيط والتعامل مع الأهداف، وآلية التعرّف على غياب الهدف كتفادي هلوسة «اعتبار الهوا عائق»، وكتحسن سلامة التشغيل.