SemIf 運営中

SemIf（旧称 OpenJev）はオープンソースのAI意思決定モデルです。オープンソースモデルを用いて、TypeSafeのクローズドソースサービスJevの意味決定インターフェースパターンを再現します。SemIfは1回のフォワードパスで候補選択肢に対応するlogitsスコアを直接読み取り、サーバー側で構造化された結果を生成します。複数の質問で状態を共有する場合はプレフィックスも再利用でき、速度をほぼ1桁向上させられます。SemIfはRTX 3090で実行でき、ブラウザデモ、行単位で再現可能なベンチマーク、温度キャリブレーション、27Bモデルブリッジを提供します。

WeChatでフォローして「开源」と返信すると、AIオープンソースプロジェクトの交流グループに参加できます。
直接logitスコアリング：1回のフォワードパスで候補選択肢のlogitsを読み取り、確率を算出します。回答テキストを生成してから解析する必要がないため、自回帰生成より約5倍高速です。
共有状態の再利用：複数の意思決定で同じコンテキストを共有する場合、プレフィックスを1回だけプリフィルし、その後各基準を直列または並列で評価することで、スループットをほぼ1桁向上できます。
実行時に定義可能な意思決定：基準と選択肢の説明をリクエストごとに渡せるため、微調整やタスクの事前定義は不要です。ルーティングやリトライ判定など、小規模なエージェント意思決定に適しています。
完全な監査可能性：固定プロンプト、モデルバージョン、プロンプトハッシュ、行単位の出力、既知の失敗をすべてリポジトリに登録し、正確な再現を可能にします。
温度キャリブレーション：ワークロードに合わせてフィッティングした温度スケーリングを内蔵し、確率上の信頼度と実際の正解率の一致度を改善します。
複数バックエンド対応：CUDA GPU、Apple Silicon（MPS/MLX）、CPU、ブラウザ上のWebGPUデモに対応しています。

環境準備：Python 3.10+、CUDA、および4B BF16モデルを収容できるGPUを用意します。
プロジェクトのインストール：仮想環境を作成した後、pip install -e '.[test]'を実行します。
入力の準備：JSONL形式の意思決定ファイルを作成します。各行にはid、state、question、options候補リストを含めます。
スコアリングの実行：semif-score --mode direct --model Qwen/Qwen3.5-4B --revision <固定バージョン> --input examples/decisions.jsonl --output results.jsonlを実行すると、行ごとの選択肢確率、処理時間、プロンプトハッシュを取得できます。
共有状態モード：すべての行のstateが完全に同一の場合は--mode sharedに切り替えます。プレフィックスを1回プリフィルした後、すべての基準を並列評価します。
キャリブレーションの適用：プロジェクト付属のスクリプトを使用して対象ワークロード上で温度スケーリングをフィッティングし、出力信頼度と実際の正解率を一致させます。

高速な意思決定：選択肢のlogitsを直接読み取ることで生成と解析の処理を省き、21件の二値意思決定を約1秒で実行できます。JSON生成より5.2倍高速です。
共有プレフィックスの再利用：1回のプリフィルで複数の分岐を評価します。共有状態のシナリオでは、スループットが2.33から最大20.03意思決定/秒まで向上します。
生成トークンゼロ：回答テキストをサンプリングしないため、JSON形式エラー、デコードループ、出力解析失敗の問題を防ぎます。
低いハードウェア要件：固定済みの4Bモデルは1枚のRTX 3090で実行でき、CPU、Apple Silicon、ブラウザのWebGPUにも対応しています。
完全オープンソースで再現可能：すべてのプロンプト、モデルバージョン、行単位の結果、既知の失敗をリポジトリに登録し、項目ごとの監査と検証が可能です。
信頼度のキャリブレーション：ワークロードに合わせた温度スケーリングを内蔵し、確率上の信頼度と実際の正解率を一致させます。出力はそのまま自動意思決定に利用できます。

プロジェクト公式サイト：https://openjev.com/
GitHubリポジトリ：https://github.com/TheoLeeCJ/SemIf-OpenJev

カスタマーサポートチケットのルーティング：顧客の問い合わせ内容とアカウント状態に基づき、「アカウントサポート / 請求サポート」などのキュー候補を直接スコアリングし、ミリ秒単位で自動振り分けを実現します。
エージェントアクションのファイアウォール：エージェントが高リスク操作を実行する前に、候補アクションを二値判定します。0.700の複合正解率により、第一層の防御として利用できます。
証拠の検索とランキング：コードベース検索や企業ナレッジベースQA（0.929）で従来のrerankerに代わり、1回のフォワードパスで候補文書のスコアを算出します。
推論結論の検証：NLI系タスクで「証拠が結論を支持しているか」を判定します。キャリブレーション後の信頼度を、そのまま下流の自動化処理に利用できます。