WeVisOne-VL 運営中

WeVisOne-VLは、Tencent WeChatのビジョンチームがオープンソースで公開するビジョン・言語基盤モデルです。Qwen3-VLをベースに、2Bと4Bの2つのバージョンを提供します。WeVisOne-VLは統一された構造化token予測方式により、1つのモデルで検出、参照表現による位置特定、カウント、指示対象の特定、OCR、参照表現によるセグメンテーション、プロンプト対応の切り抜きという7種類のタスクを同時に実行します。わずか960万パラメータのピクセルデコーダーからマスクまたは毛髪レベルの切り抜きを直接出力でき、外部のSAMは不要です。WeVisOne-VLは1億枚超の画像と約36億個のバウンディングボックスで学習され、3段階のカリキュラム型ファインチューニングと強化学習を経て、30以上のベンチマークで同種モデルを上回っています。

物体検出：「すべての犬を見つけて」のような指示に基づき、画像内のすべての対象のボックスを直接出力できます。
参照表現による位置特定：「赤い服を着た人」のような自然言語の説明に基づき、画像内の具体的な対象を特定できます。
カウント：画像内に指定された種類の物体がいくつあるかを回答します。
指示対象の特定：「あのコップ」のような指示表現を理解し、指し示された物体を見つけます。
OCR：画像内の文字を読み取り、その位置を示します。
参照表現によるセグメンテーション：対象の輪郭に沿ってピクセル単位で描画し、二値マスクを出力します。
プロンプト対応の切り抜き：連続的なalphaチャンネルを出力し、毛髪などの半透明なディテールを自然に保持したまま、背景を直接置き換えられます。

WeChatで「オープンソース」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます。
座標をtokenとして扱う構造化出力：モデルは座標を1001個の専用tokenに離散化します。1つのボックスはちょうど4個のtoken、1つの点は2個のtokenで表されます。検出ボックス、文字位置、ピクセルマスクをすべて同じ語彙で表現し、構造化next-token予測で統一的に生成します。タスクを変える場合はpromptのプレフィックスを変えるだけで、対象が存在しない場合はNoneを直接出力します。
内蔵ピクセルデコーダーによるSAMカスケードの代替：モデルはQwen3-VLの基盤に、わずか960万パラメータの小型モジュールを接続します。視覚特徴アダプターは、基盤モデルで事前統合される前の4層のViT特徴を取り出し、深層畳み込みで精緻化して共有特徴ピラミッドを作成します。各tokenの隠れ状態にフーリエ符号化したボックス事前情報を加えてインスタンスクエリを構成し、6つの変形可能なクロスアテンションブロックで反復的に精緻化します。最後にインスタンス条件付き密度ヘッドが動的畳み込みカーネルでマスクを予測し、S/4→S/2→S/1の粗密カスケードで毛髪レベルの全解像度alpha切り抜きを復元します。処理全体でSAMなどの外部分割モデルには依存しません。
カリキュラム型学習と混合タスク強化学習：事前学習後、タスクアライメント、高解像度・高密度シーン、ピクセルレベルという3段階のSFTを順に行い、最後に不確実性で選別した178K件のサンプルを用いて混合タスクGRPO強化学習を実施します。ボックスの精度が向上し、幻覚が減少します。特に「画像に対象がなくてもボックスを付ける」と「画像に対象があるのにボックスを付け忘れる」という2種類の誤答に重点的なペナルティを与え、拒否認識能力と対象がある場合の位置特定精度を同時に高めています。
知識グラフ駆動のデータエンジン：カテゴリと参照表現の知識グラフを用いて目的指向の収集を行います。SAM3と内部DINO検出器で候補ボックスを生成し、Qwen3-VLで真偽を相互検証し、SAM2でマスクに拡張、BiRefNetとMatAnyone2で連続alphaの候補を生成します。サンプルはIoU、カバレッジ、前景精度など一連の検査に合格して初めて受け入れられ、一部は人手で抜き取り確認されます。モデルの誤りは次の選別ラウンドに還流され、累計で1億枚超の画像と約36億個のバウンディングボックスをアノテーションし、自己改善するアノテーションループを形成しています。

コードの取得：GitHubからTencent/WeVisOne-VLリポジトリをクローンし、READMEに従って依存環境をインストールします。
モデルの準備：Hugging FaceからWeVisOne-VL-2BまたはWeVisOne-VL-4Bの重みをダウンロードします。
タスクプロンプトの作成：タスクに応じてpromptに要件を記述します。たとえば検出には「Locate all the instances of …」、参照表現による位置特定には対象の説明、切り抜きにはalphaの出力を指定します。また、、、などの構造化タグで既存のアノテーションを渡すこともできます。
推論の実行：リポジトリが提供するmodel.predict()インターフェース（公式デモでもこのインターフェースを使用）で、画像とプロンプトをモデルに入力します。
出力の解析：モデルは結果をtoken単位で生成します。座標は<0>–<1000>の専用tokenから正規化座標に復元され、 はピクセルデコーダーを起動してマスクまたはalphaを出力します。対象が存在しない場合はNoneを返します。
後処理と活用：ボックス、マスク、または切り抜き結果を元画像のサイズに戻し、検索、アノテーション、背景置換などの下流タスクに利用します。

信頼性の高い拒否認識：画像に対象がない場合に「ない」と回答でき、無理に答えを作らないため、視覚認識段階の幻覚を大幅に減らします。
1つのモデルで複数タスク：検出、参照表現による位置特定、カウント、指示対象の特定、OCR、セグメンテーション、切り抜きという7種類のタスクを同じモデルで実行できます。タスクを変えるにはプロンプトを変えるだけでよく、複数モデルを組み合わせる導入・保守コストを省けます。
SAM不要：内蔵の960万パラメータのピクセルデコーダーがマスクと毛髪レベルの切り抜きを直接出力し、「検出器+SAM+切り抜きモデル」という3段カスケードを置き換えるため、推論チェーンが短くなります。
精度と細かな表現力を両立：1億枚の画像と36億個のボックスによる大規模アノテーションに、カリキュラム型学習と混合タスク強化学習を組み合わせ、30以上のベンチマークで汎用VLMと専用モデルの双方を上回ります。切り抜きのMADはほぼ半減しています。
オープンソースで導入可能：2Bと4Bの2つのバージョンの重み、コード、ツールチェーンをすべて公開しています。Apache 2.0ライセンスで、ウェブ上での試用にもローカル実行にも対応し、小規模チームにも適しています。

プロジェクト公式サイト：https://tencent.github.io/WeVisOne-VL/
GitHubリポジトリ：https://github.com/Tencent/WeVisOne-VL
HuggingFaceモデルコレクション：https://huggingface.co/collections/tencent/wevisone-vl
arXiv技術論文：https://arxiv.org/pdf/2610.31329

コンテンツ審査と安全検知：「ない」と言える拒否認識能力により、画像内の違反物体を正確に見つけます。見つからない場合は明確に対象なしを返すため、審査漏れや誤検知を減らし、WeChatのコンテンツエコシステムにおける審査要件に適合します。
EC商品画像の切り抜き：商品画像を入力するだけで毛髪レベルのalpha切り抜きを直接出力し、白背景画像や背景差し替えポスターをワンクリックで作成できます。手作業の画像編集や複数モデルを組み合わせたパイプラインに置き換えられます。
文書・伝票の構造化：位置情報付きのOCR出力により、請求書、契約書、フォームを座標付きの構造化データに変換し、入力作業や照合を自動化します。
データアノテーションと検索強化：参照表現による位置特定とセグメンテーションを使って、ボックスとマスク付きのアノテーションデータを一括生成できます。また、テキストから画像を検索する際に画像全体ではなく正確な対象領域を返し、下流モデルの学習と検索を支援します。
ロボットと自動運転の知覚：エッジデバイスに導入して環境認識や対象操作を行います。拒否認識機構により「空気を障害物と認識する」幻覚を防ぎ、作業の安全性を高めます。