WeVisOne-VL চালু আছে

WeVisOne-VL হলো Tencent WeChat ভিশন টিমের ওপেন-সোর্স করা ভিশন-ল্যাঙ্গুয়েজ বেস মডেল, যা Qwen3-VL-এর ওপর ভিত্তি করে তৈরি এবং 2B ও 4B দুটি সংস্করণে পাওয়া যায়। WeVisOne-VL অভিন্ন কাঠামোবদ্ধ token পূর্বানুমান পদ্ধতি ব্যবহার করে একটি মডেলকে একই সঙ্গে শনাক্তকরণ, রেফারেন্স-ভিত্তিক অবস্থান নির্ধারণ, গণনা, নির্দেশিত বস্তু শনাক্তকরণ, OCR, রেফারেন্স-ভিত্তিক সেগমেন্টেশন এবং প্রম্পট-ভিত্তিক অবজেক্ট কাটআউটের মতো সাতটি কাজ সম্পন্ন করতে দেয়। মাত্র ৯৬ লক্ষ প্যারামিটারের একটি পিক্সেল ডিকোডার সরাসরি mask বা চুলের সূক্ষ্মতা-সহ cutout আউটপুট করে, তাই আলাদা SAM ব্যবহারের প্রয়োজন হয় না। WeVisOne-VL-এর প্রশিক্ষণ ডেটায় ১০ কোটির বেশি ছবি ও প্রায় ৩৬০ কোটি object box রয়েছে। তিন ধাপের curriculum fine-tuning এবং reinforcement learning-এর মাধ্যমে ৩০টিরও বেশি benchmark-এ এটি একই শ্রেণির মডেলকে ছাড়িয়ে গেছে।

অবজেক্ট ডিটেকশন: “সব কুকুর খুঁজে বের করো”-এর মতো নির্দেশ অনুসারে ছবির সব লক্ষ্যবস্তুর box সরাসরি আউটপুট করতে পারে।
রেফারেন্স-ভিত্তিক অবস্থান নির্ধারণ: “লাল পোশাক পরা ব্যক্তি”-এর মতো স্বাভাবিক ভাষার বর্ণনা অনুসারে ছবির নির্দিষ্ট লক্ষ্যবস্তু শনাক্ত করতে পারে।
গণনা: ছবিতে নির্দিষ্ট শ্রেণির কতটি বস্তু আছে তা জানায়।
নির্দেশিত বস্তু শনাক্তকরণ: “ওই কাপ”-এর মতো নির্দেশনামূলক বর্ণনা বুঝে নির্দেশিত বস্তু খুঁজে বের করে।
OCR: ছবির পাঠ্য পড়ে এবং তার অবস্থান চিহ্নিত করে।
রেফারেন্স-ভিত্তিক সেগমেন্টেশন: লক্ষ্যবস্তুর সীমানা ধরে পিক্সেল-স্তরে outline তৈরি করে binary mask আউটপুট করে।
প্রম্পট-ভিত্তিক অবজেক্ট কাটআউট: ধারাবাহিক alpha channel আউটপুট করে, ফলে চুলের মতো আধা-স্বচ্ছ সূক্ষ্ম বিবরণ স্বাভাবিকভাবে সংরক্ষিত থাকে এবং সরাসরি background পরিবর্তন করা যায়।

WeChat-এ ফলো করে “开源” লিখে উত্তর পাঠান, AI ওপেন-সোর্স প্রকল্পের গ্রুপে যোগ দিন
কোঅর্ডিনেটই token হিসেবে কাঠামোবদ্ধ output: মডেল কোঅর্ডিনেটকে 1001টি বিশেষ token-এ discretize করে। একটি box ঠিক 4টি token এবং একটি point 2টি token দখল করে। detection box, পাঠ্যের অবস্থান এবং pixel mask একই vocabulary দিয়ে প্রকাশ করা হয়, তারপর কাঠামোবদ্ধ next-token prediction-এর মাধ্যমে একীভূতভাবে তৈরি করা হয়। কাজ পরিবর্তনের জন্য শুধু prompt prefix বদলাতে হয়; লক্ষ্যবস্তু না থাকলে সরাসরি None output হয়।
SAM cascade-এর পরিবর্তে অন্তর্নির্মিত pixel decoder: Qwen3-VL backbone-এর সঙ্গে মাত্র ৯৬ লক্ষ parameter-এর একটি ছোট module যুক্ত থাকে। Visual feature adapter backbone-এর pre-merge পর্যায়ের চারটি ViT feature সংগ্রহ করে deep convolution-এর মাধ্যমে shared feature pyramid-এ পরিণত করে। প্রতিটি token-এর hidden state-এর সঙ্গে Fourier encoding-যুক্ত box prior মিলিয়ে instance query গঠন করা হয়, যা 6টি deformable cross-attention block-এর মাধ্যমে বারবার refined হয়। শেষে instance-conditioned dense head প্রথমে dynamic convolution kernel দিয়ে mask পূর্বানুমান করে, তারপর S/4→S/2→S/1 coarse-to-fine cascade-এর মাধ্যমে hair-level পূর্ণ-রেজোলিউশনের alpha cutout পুনরুদ্ধার করে। পুরো প্রক্রিয়ায় SAM বা অন্য কোনো বাহ্যিক segmentation model-এর ওপর নির্ভরতা নেই।
Curriculum training ও mixed-task reinforcement learning: pretraining-এর পর পর্যায়ক্রমে task alignment, high-resolution ও dense-scene, এবং pixel-level তিন ধাপের SFT সম্পন্ন হয়। শেষে অনিশ্চয়তা-ভিত্তিকভাবে বাছাই করা 178K sample দিয়ে mixed-task GRPO reinforcement learning করা হয়। এতে box আরও নির্ভুল এবং hallucination কম হয়। “ছবিতে লক্ষ্যবস্তু না থাকলেও box তৈরি করা” ও “ছবিতে লক্ষ্যবস্তু থাকা সত্ত্বেও box বাদ দেওয়া”—এই দুই ধরনের ভুলকে বিশেষভাবে শাস্তি দেওয়া হয়, ফলে লক্ষ্য প্রত্যাখ্যানের ক্ষমতা এবং লক্ষ্য থাকা অবস্থায় অবস্থান নির্ধারণের নির্ভুলতা একসঙ্গে বাড়ে।
Knowledge graph-চালিত data engine: শ্রেণি ও reference expression-এর knowledge graph ব্যবহার করে লক্ষ্যভিত্তিক data সংগ্রহ করা হয়। SAM3 ও অভ্যন্তরীণ DINO detector candidate box তৈরি করে, Qwen3-VL সত্যতা cross-validate করে, SAM2 mask-এ সম্প্রসারণ করে, আর BiRefNet ও MatAnyone2 continuous alpha candidate তৈরি করে। IoU, coverage, foreground precision-সহ একাধিক পরীক্ষায় উত্তীর্ণ হলেই sample গ্রহণ করা হয়; কিছু sample হাতে যাচাই করা হয়। মডেলের ভুল পরবর্তী বাছাই পর্বে ফিরিয়ে দেওয়া হয়। এভাবে ১০ কোটির বেশি ছবি ও প্রায় ৩৬০ কোটি object box annotate করে স্ব-উন্নয়নশীল annotation loop তৈরি হয়েছে।

কোড সংগ্রহ: GitHub থেকে Tencent/WeVisOne-VL repository clone করুন এবং README অনুসারে dependency environment ইনস্টল করুন।
মডেল প্রস্তুত করুন: Hugging Face থেকে WeVisOne-VL-2B অথবা WeVisOne-VL-4B weight ডাউনলোড করুন।
Task prompt তৈরি করুন: কাজ অনুসারে prompt-এ প্রয়োজন লিখুন, যেমন detection-এর জন্য “Locate all the instances of …”, reference localization-এর জন্য লক্ষ্যবস্তুর বর্ণনা, এবং cutout-এর জন্য alpha output-এর নির্দেশ। বিদ্যমান annotation , , ইত্যাদি কাঠামোবদ্ধ tag-এর মাধ্যমে দেওয়া যেতে পারে।
Inference চালান: repository-তে দেওয়া model.predict() interface ব্যবহার করে ছবি ও prompt মডেলে পাঠান, যেমন অফিসিয়াল demo-তেও এই interface ব্যবহৃত হয়েছে।
Output বিশ্লেষণ করুন: মডেল token ধরে ধরে ফল তৈরি করে। <0>–<1000> বিশেষ token থেকে কোঅর্ডিনেট normalized coordinate-এ পুনরুদ্ধার করা হয়। pixel decoder সক্রিয় করে mask বা alpha output করে; লক্ষ্যবস্তু না থাকলে None ফেরত দেয়।
Post-processing প্রয়োগ করুন: box, mask বা cutout ফলাফল মূল ছবির আকারে map করুন। এগুলো retrieval, annotation, background পরিবর্তনসহ পরবর্তী কাজে ব্যবহার করা যায়।

নির্ভরযোগ্য প্রত্যাখ্যান: ছবিতে লক্ষ্যবস্তু না থাকলে “নেই” বলতে পারে, জোর করে উত্তর তৈরি করে না, ফলে visual perception ধাপে hallucination উল্লেখযোগ্যভাবে কমে।
এক মডেলে বহু কাজ: detection, reference localization, গণনা, নির্দেশিত বস্তু শনাক্তকরণ, OCR, segmentation ও cutout—এই সাতটি কাজ একই মডেল ব্যবহার করে। শুধু prompt বদলালেই কাজ পরিবর্তন করা যায়, ফলে একাধিক মডেল জোড়ার deployment ও maintenance cost কমে।
বাহ্যিক SAM ছাড়াই: অন্তর্নির্মিত ৯৬ লক্ষ parameter-এর pixel decoder সরাসরি mask ও hair-level cutout output করে। “detector+SAM+cutout model” তিন-ধাপের cascade-এর পরিবর্তে inference chain ছোট হয়।
নির্ভুলতা ও সূক্ষ্মতার সমন্বয়: ১০ কোটি ছবি ও ৩৬০ কোটি box-এর বৃহৎ annotation dataset, curriculum training এবং mixed-task reinforcement learning-এর ফলে ৩০টিরও বেশি benchmark-এ এটি general-purpose VLM ও specialized model উভয়কেই ছাড়িয়ে যায়; cutout MAD প্রায় অর্ধেকে নেমে আসে।
ওপেন-সোর্স ও deployযোগ্য: 2B এবং 4B—দুটি সংস্করণের weight, code ও toolchain সম্পূর্ণ উন্মুক্ত। Apache 2.0 লাইসেন্সের অধীনে এটি web-এ পরীক্ষা করা যায় এবং local environment-এ চালানো যায়, যা ছোট দলের জন্যও সুবিধাজনক।

প্রকল্পের অফিসিয়াল সাইট: https://tencent.github.io/WeVisOne-VL/
GitHub repository: https://github.com/Tencent/WeVisOne-VL
Hugging Face model collection: https://huggingface.co/collections/tencent/wevisone-vl
arXiv প্রযুক্তিগত গবেষণাপত্র: https://arxiv.org/pdf/2610.31329

Content moderation ও safety detection: “নেই” বলার নির্ভরযোগ্য ক্ষমতার মাধ্যমে ছবির লঙ্ঘনকারী বস্তু সঠিকভাবে শনাক্ত করে। না পেলে স্পষ্টভাবে অনুপস্থিতি জানায়, ফলে moderation বাদ পড়া ও false positive কমে এবং WeChat content ecosystem-এর moderation প্রয়োজনের সঙ্গে সামঞ্জস্যপূর্ণ হয়।
ই-কমার্স পণ্য cutout: পণ্যের ছবি দিলে সরাসরি hair-level alpha cutout output করে। এক ক্লিকে white-background image ও background পরিবর্তন করা poster তৈরি করা যায়, ফলে manual editing এবং বহু-মডেল pipeline-এর প্রয়োজন কমে।
নথি ও রসিদের কাঠামোবদ্ধকরণ: OCR ও অবস্থান output-এর মাধ্যমে invoice, contract ও form-কে কোঅর্ডিনেট-সহ কাঠামোবদ্ধ data-তে রূপান্তর করে, automated data entry ও reconciliation সম্ভব করে।
Data annotation ও retrieval enhancement: reference localization ও segmentation ব্যবহার করে box ও mask-সহ annotation data বড় পরিসরে তৈরি করা যায়। অথবা text-to-image retrieval-এর সময় পুরো ছবি নয়, নির্দিষ্ট লক্ষ্য অঞ্চলের ফল দেওয়া যায়, যা downstream model training ও retrieval-এ সহায়তা করে।
রোবট ও autonomous driving perception: edge deployment-এর মাধ্যমে পরিবেশ উপলব্ধি ও লক্ষ্যবস্তু পরিচালনা করা যায়। প্রত্যাখ্যান ব্যবস্থা “বাতাসকে বাধা হিসেবে ধরে নেওয়ার” hallucination এড়িয়ে কাজের নিরাপত্তা বাড়ায়।