APUS-OpenJev-v1 運営中

APUS-OpenJev-v1は、APUS AI Labがオープンソースで公開するエッジ向けSystem 1意思決定大規模モデルシリーズです。TypeSafe AIのクローズドソースモデルJevと同系統で、4B、9B、35B-A3Bの重みを提供し、ブラウザ自動化、フォーム入力、ワークフローのルーティングなどのタスクで次の操作を素早く選択できます。モデルはeffort="low/high"による動的な計算深度を初めて採用しました。lowでは候補認識型の出力射影と組み合わせて16層のみを実行し、高速かつ低コストを実現します。highでは完全な深度を使用し、より高い精度を実現します。

候補アクションの意思決定：タスク、ページのコンテキスト、候補操作の説明に基づき、次の業務アクションを出力します。
ブラウザ自動化：ボタン、入力欄、ナビゲーション要素などのDOM情報を認識し、AgentによるWeb操作を支援します。
業務ルールのルーティング：カスタマーサポートのチケット振り分け、ワークフロー承認、フォーム送信などの業務意思決定に適しています。
動的な計算制御：effort="low/high"により、高スループットと高品質を切り替えられます。
フォームテキスト生成：選択式の意思決定に加え、検索キーワードや入力テキストなどの自由形式の内容も生成できます。
ローカルでのミリ秒級デプロイ：単一GPUおよびvLLMによるサービス化デプロイに対応し、クラウドAPIの遅延と呼び出しコストを削減します。
複数モデル規模の選択：4B、9B、35B-A3Bなどのバージョンを提供し、それぞれ軽量なエッジ利用、汎用的な本番環境、高性能な要件に対応します。

WeChatでフォローして「开源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます。
言語ネイティブな意思決定インターフェース：モデルはタスクの目標、コンテキスト、候補操作の説明をすべて自然言語の入力として扱い、候補アクションにA、B、Cなどの簡潔なトークンを割り当てます。推論時には、これらの有効な候補トークンの確率だけを計算し、ホストプログラムが具体的な業務アクションへマッピングします。
effort="low/high"による動的な計算深度：同一のモデル重みの中に2つの意思決定経路を組み込みます。effort="low"ではTransformerの先頭16層のみを実行し、候補認識型の出力射影と組み合わせて、少ない計算量で頻繁な定型アクションを処理します。effort="high"では32層すべてで推論し、支払い、権限確認などの高リスク操作に適用できます。これにより、Agentシステムはアクションの重要度と確信度に応じて計算リソースを動的に配分できます。
深度横断の共同学習と自己蒸留：浅い経路の計算量を半分に削減しても信頼できる判断力を維持できるよう、浅い経路と深い経路の双方に実ラベルで教師あり学習を行い、同時に深い経路の出力確率分布を「ソフトラベル」として浅い経路へKLダイバージェンス蒸留します。浅い経路の容量不足が深い経路のモデル性能を損なわないよう、学習時には深い経路の出力に勾配遮断を適用します。これにより、深い経路は自ら最適化しながら、浅い経路の教師として機能できます。
候補認識型の出力射影：従来の大規模モデルでは、1トークン生成するたびに約24.8万語の語彙全体を走査する必要がありますが、構造化された意思決定で候補アクションは通常数個です。候補トークンに対応する出力重みの行を直接抽出し、行列計算の対象を語彙全体からK個の候補へ縮小します。候補確率の論理的等価性を維持しながら、出力ヘッドの計算量とメモリアクセスのオーバーヘッドを大幅に削減します。

環境の準備：CUDA対応のPyTorch、Transformers、huggingface_hubをインストールし、ローカルまたはサーバーに十分なGPUメモリがあることを確認します。
モデルのダウンロード：hf download apus-ailab/APUS-OpenJev-v1 --include "9B-3000/*" --local-dir ./APUS-OpenJev-v1を実行して、必要なモデルディレクトリをダウンロードします。
モデルディレクトリへ移動：ダウンロードしたモデルのサブディレクトリに移動すると、同梱のopenjet_runtime推論コンポーネントを直接使用できます。
モデルの読み込み：OpenJet.from_pretrained(".", device="cuda:0")を使用して、指定したGPUにモデルを読み込みます。
意思決定リクエストの構築：instructions、state、candidatesの3つのフィールドに、タスクの目標、現在のコンテキスト、候補操作を入力します。
高速な意思決定の実行：model.decide(request_data, effort="low")を呼び出し、少ない計算コストで頻繁な定型アクションを取得します。
深い意思決定の実行：model.decide(request_data, effort="high")を呼び出し、支払いや送信などの重要なアクションに適した完全な推論結果を取得します。
ワークフローテキストの生成：検索語やフォーム内容の入力が必要な場面では、model.generate_text()を呼び出して具体的なテキストを生成します。
本番サービスへのデプロイ：python deployment/serve_vllm.py --port 8000を実行し、vLLMでOpenAI互換インターフェースを起動します。

高い意思決定精度：公式の80問固定ベンチマークで、9Bバージョンは85%を達成し、Jev商用APIの82.5%を上回ります。
非常に高速な応答：指定されたローカルvLLMデプロイ環境で、9BのP50レイテンシは25.58ms、4Bはわずか18msです。
計算リソースを動的に調整：effort="low/high"モードを初めて採用し、アクションのリスクに応じて速度と精度を柔軟に切り替えられます。
頻繁な操作のコストを削減：effort="low"では16層のみを実行し、候補認識型の出力射影を採用するため、スクロールや次へボタンのクリックなど頻繁な意思決定に適しています。
重要なアクションの信頼性：effort="high"ではネットワーク全体を実行し、支払い確認や権限承認などの高リスクな場面に適しています。
出力形式のエラーを回避：言語ネイティブな意思決定インターフェースを採用し、出力を事前定義した候補集合に制限することで、JSON形式の幻覚を排除します。
業務への適応力：同一モデルを自然言語で記述することで、ブラウザ操作、カスタマーサポートの振り分け、ルール審査など、さまざまなタスクに適応できます。

Hugging Faceモデルリポジトリ：https://huggingface.co/apus-ailab/APUS-OpenJev-v1

ブラウザ自動化：WebページのDOM、ボタン、入力欄の情報に基づき、クリック、スクロール、ページ遷移など次の操作を素早く決定します。
企業ワークフローのルーティング：承認、チケット処理、フォーム処理の中で、業務ルールに基づき送信、差し戻し、転送などの処理経路を自動選択します。
カスタマーサポートチケットの割り当て：ユーザーの質問、履歴情報、候補となる担当部署を組み合わせ、最適なサポートチームまたは処理アクションをリアルタイムで判断します。
金融・コンプライアンス審査：高リスク操作にはeffort="high"による深い判断を使用し、不審な取引、権限リスク、規制違反につながるデータの流れを識別します。
エッジ向けインテリジェントアシスタント：軽量モデルをローカルデバイスやプライベートサーバーにデプロイし、頻繁なAgentタスクに低遅延でプライバシーを保護した意思決定機能を提供します。