WorkForge 運営中

WorkForgeは、テンセント混元と復旦大学が共同で開発したエージェント訓練環境構築フレームワークです。WorkForgeは専門家のワークフローブループリントを起点に、実世界のリソースを自動検索してワークスペースを構築し、ワークスペースの事実に基づいてタスクと二重検証基準を生成します。これにより、エージェントの実行結果の軌跡データを取得できます。WorkForgeはすでに16.7K件の検証可能な環境を構築しており、40の専門分野を網羅しています。また、35BモデルのGDPvalスコアを28ポイント向上させ、最先端モデルに近い水準を実現できます。

シナリオブループリント構築：専門家の経験を再利用可能なワークフローテンプレートとして蓄積し、成果物、必要なリソース、重要な意思決定ポイントを定義します。
実ワークスペース合成：取得エージェントがウェブ検索を通じて実際のコードリポジトリ、データセット、ウェブ資料をダウンロードし、元のディレクトリ構造に沿ってワークスペースを構築します。
環境プロファイリングと事実アンカー抽出：各ファイルの役割と依存関係を自動的に把握し、直接照合できる「事実の根拠」を記録します。
タスク生成：ブループリントとプロファイルを組み合わせ、ワークスペースの実際の内容に根差したタスク指示と隠れた参照解答を生成します。
二重検証メカニズム：プログラムによるチェックで数値やファイル生成を確認し、LLM審査員が採点基準に基づいて意味的な品質を評価します。
軌跡の収集と採点：エージェントは、ワークスペースとタスク説明だけが見える条件で自律的に実行し、全プロセスをスコアとともに訓練データとして保存します。
大規模な環境生成：ワンクリックで16.7K件の検証可能な作業環境を生成し、40の専門分野と60種類のファイル形式をカバーします。
エージェントの追加訓練：生成した長期軌跡でモデルを微調整し、職場タスクの実行能力を大幅に向上させます。

事実アンカー駆動のタスク・検証共生設計：WorkForgeの核心となる前提は、タスクを提示できるか、結果を検証できるかは、ワークスペース内で観測可能な事実に依存するということです。まずワークスペースを全面的にプロファイリングし、ファイルの役割、ファイル間の依存関係、具体的に照合可能な事実記録を抽出します。タスク指示、参照解答、プログラムによるチェック項目、意味的な採点基準はすべてこれらの事実アンカーから導出され、参照解答内の重要な事実もワークスペースに戻って再確認されます。
2. 実リソース駆動による環境複雑性の構築：LLMがワークスペースを合成する方式とは異なり、WorkForgeは取得エージェントが検索—閲覧—ダウンロード—プレビューのループを反復実行し、実際のリポジトリやデータセットからリソースを収集して、元のディレクトリ構造を保持します。比較実験では、実ワークスペースのファイル数は合成環境の5.4倍、ファイル形式数は2.4倍でした。証拠は少数のファイルに集中せず、ディレクトリツリー全体に分散しているため、エージェントはまず探索してから判断する必要があり、実際の操作上の摩擦と長期的なインタラクションの必要性が生じます。
プログラム検証と意味検証による二重検証：検証モジュールは相互補完的な2つの要素で構成されます。プログラム検証器は、数値が正しいか、対象ファイルが生成されたか、ワークスペースの状態が期待どおりかなど、決定論的な要件をチェックし、指示関数に基づいて採点します。意味検証器は、タスク指示に基づいて設定されたLLM審査員であり、開放型の成果物を採点基準に沿って項目ごとに採点し、正規化します。二重検証のスコアは分けて保持されます。実験では、両者を組み合わせたハイブリッド選別（ALE 22.11）は、いずれか一方のシグナルだけを使う場合（15.62 / 14.89）を大幅に上回りました。これは、2種類の検証が成果物の品質における異なる側面を捉えるためです。

WorkForgeは現在研究フレームワークであり、論文ではオープンソースコードやデータセットの公開先について言及されていません。

高い実在性：実世界のリソースから直接ワークスペースを構築するため、ファイル数、ファイル形式数、容量はそれぞれLLM合成環境の5.4倍、2.4倍、13倍です。証拠は一部のファイルに集中して露出するのではなく、ディレクトリツリー全体に分散しています。
検証の追跡可能性：タスク、参照解答、採点基準はすべてワークスペースの「事実アンカー」から導出され、重要な事実はワークスペースに戻って再確認されるため、幻覚に基づく評価要件を排除できます。
二重検証の相補性：プログラムによるチェック（数値・ファイル）とLLMによる意味評価を組み合わせることで、いずれか一方のシグナルだけを使う場合を大きく上回るハイブリッド選別を実現します。
長期インタラクション訓練：平均31.8ステップ、7.6万tokensの実探索軌跡により、モデルは探索、証拠収集、エラー修正、成果物提出という一連の作業プロセスを学習します。
大規模生成能力：1本のパイプラインで16.7K件の環境を生成し、40分野を網羅します。手作業による環境構築と比べて、エンジニアリングコストを大幅に削減できます。
顕著な性能向上：A3BモデルのGDPvalスコアを28.1ポイント向上させ、すべての<100B専用エージェントモデルを全面的に上回ります。27Bモデルは、パラメータ数が15倍の397Bモデルを逆転しました。

arXiv技術論文：https://arxiv.org/pdf/2610.04906

エージェント訓練データの生成：企業や研究機関向けに、高品質な長期軌跡データを大規模に生成します。これを用いて独自の業務エージェントを追加訓練し、手作業による環境構築のコスト上のボトルネックを解消できます。
職場向けデジタル従業員の育成：オフィス業務、データ分析、金融、教育など40の専門分野を対象に、レポート、表計算シート、PPTなどの実際の成果物を納品できる「デジタル従業員」を訓練します。
エージェント能力評価：事実アンカー駆動の二重検証メカニズムを評価手法として利用し、複雑なファイル環境におけるエージェントの探索、証拠収集、成果物提出能力を検証できます。
分野別ワークフローのデジタル化：企業は社内専門家の経験をシナリオブループリントとして記述することで、同種タスクのさまざまなインスタンスを迅速かつ一括で生成し、研修や評価に利用できます。
特化型Agentの研究開発基盤：金融クオンツ、コードレビュー、コンプライアンスチェックなど、複数のソースファイルを横断的に照合する必要がある専門分野で環境インフラとして利用でき、上位のAgent製品の能力向上を支えます。