Startlux-Decision 運営中

StartLux-DecisionはStartLux Labsが提供する意思決定モデルファミリーで、0.8Bから27Bまでの5つの密モデルと35B-A3B混合エキスパートモデルで構成されています。StartLux-Decisionはテキスト、JSON、画像形式の状態を受け取り、選択、二択、スコアリングなどの問題に対して、1回のフォワード推論で各選択肢の確率を返すため、信頼度として利用できます。モデルは256K tokenの長いコンテキストをネイティブにサポートし、ミリ秒レベルのレイテンシで動作します。また、JevのTypeSafeクライアント形式に対応しています。

型付き意思決定：選択問題、二択問題、スコアリング問題の3種類に対応し、各問題について選択肢ごとの確率分布を返します。
マルチモーダル入力：状態にはテキスト、JSON、画像を使用できます（2026-10-03更新）。証拠や画像をリクエストの一部として渡せます。
超長コンテキスト：すべてのサイズのモデルが262,144 token（256K）のプロンプト長をネイティブにサポートし、長い状態を一度に分割して読み取れます。
信頼度出力：確率をそのまま信頼度として利用でき、リスク定量化が必要な自動化ワークフローに適しています。
高スループット・低レイテンシ：短い問題なら1回のフォワード処理が数ミリ秒で完了し、バッチ推論（batched path）とCUDA Graphsによる高速化に対応しています。
全プラットフォーム対応：llama.cpp向けにGGUF量子化（BF16/Q8_0/Q4_K_M）を提供し、Apple SiliconではMLXバックエンドを利用できます。
ゲームおよびエージェントへの応用：Webショッピング、チェス、スーパーマリオ、StarCraft II、Doomなどのリアルタイム意思決定シナリオで検証済みです。
Jevエコシステム互換：リクエストとレスポンスにはTypeSafe /v1/systemone形式を採用しており、Jev向けに作成されたクライアントをシームレスに接続できます。

WeChatで「开源」と返信すると、AIオープンソースプロジェクト交流グループに参加できます
1回のフォワード処理で回答を読み取る：モデルは選択肢をアルファベットのラベルとしてレンダリングし、forward pass後の選択肢ラベル位置から確率を直接読み取ります。1つのリクエスト内のすべての問題は、1回のフォワード処理で並列に処理されます。
線形アテンションアーキテクチャ：flash-linear-attentionとcausal-conv1dの高速カーネルを採用し、短いリクエストのレイテンシを極めて低く抑えます。また、これらのカーネルがないGPUではサーバーの起動を拒否し、性能を保証します。
MoEグループ行列乗算：35B-A3B混合エキスパートモデルでは、各tokenで約3Bのパラメータのみをアクティブ化します。エキスパートはgrouped matmulで実行され、CUDA Graphsで処理されるため、レイテンシは27B密モデルの約半分です。
長入力の分割と分岐：256Kの長い状態を分割して一度だけ読み取り、リクエスト内の各問題はその表現から分岐して計算することで、エンコードの重複を避けます。
確率を保つ量子化：GGUFのBF16とQ8_0は、JevBenchの99–100%の項目で元の重みと完全に同じ意思決定を示します。これは、意思決定能力が量子化に対して非常に頑健であることを示しています。

重みをダウンロード：hf download startlux-models/StartLux-Decision-4B --local-dir StartLux-Decision-4Bを実行して、Hugging Faceからダウンロードします。
依存関係をインストール：モデルディレクトリに移動し、pip install -r requirements.txtを実行します。
カーネルを確認：python -m startlux_decision.check StartLux-Decision-4Bを実行し、「fast kernels: active」と出力されることを確認します。
サービスを起動：python -m startlux_decision.server --model StartLux-Decision-4B --port 8090を実行して、ローカル推論サービスを起動します。
リクエストを送信：localhost:8090/v1/systemoneにJSONを送信します。JSONにはstateとquestions（choice / noul / scoreタイプ）を含めます。
結果を取得：レスポンスには各問題の選択肢ごとの確率分布が返され、そのまま意思決定の信頼度として利用できます。
GGUF方式（任意）：対応するGGUFリポジトリをダウンロードした後、まずllama-serverを起動し、次にpython -m startlux_decision.gguf_serverを実行して、llama.cppの前段で意思決定サービスを提供します。

確率ベースの意思決定：各問題について選択肢ごとの確率を直接返すため、信頼度をそのまま利用でき、追加のキャリブレーションは不要です。
極めて低いレイテンシ：1回のフォワード処理で回答を生成し、4Bモデルはわずか26ms、35B-A3Bはわずか52.5msです。
ベンチマークを総合的にリード：Decision Index 0.2.1で63.88を達成し、Jev 1.13を含む公開されているすべての競合モデルを上回ります。
超長コンテキスト：全シリーズが256K tokenの入力をネイティブにサポートし、長いドキュメントも一度だけ読み取ります。
マルチモーダル証拠：すべてのサイズで画像を意思決定の根拠として読み取れます。
同クラスで総合的に優位：0.8Bから35Bまで、すべてのモデル規模で近いサイズの競合モデルを上回ります。
Jevエコシステム互換：TypeSafe /v1/systemone形式を採用し、Jev向けに作成されたクライアントを変更なしで接続できます。

GitHubリポジトリ：https://github.com/StartLuxLabs/Startlux-Decision
Hugging Faceモデルコレクション：https://huggingface.co/collections/startlux-models/startlux-decision-6abba92b301b573fa154d493

カスタマーサポートのチケット振り分け：チケットのテキストや画像を入力し、1回のリクエストで担当チーム、緊急対応の要否、重大度を判定します。選択肢の確率をそのまま信頼度として利用できます。
コンピューター操作の自動化：実際のブラウザを操作してコントロールを段階的に選択し、タスクの完了を判定します。Web上の注文やショッピングを自動完了するデモが実施されています。
ゲームAIの意思決定：1回のフォワード処理で、移動、建造、射撃などのアクション確率を出力します。チェス、StarCraft II、Doomなどのゲームで検証済みです。
金融リスク管理とコンプライアンス：契約条項の確認、金融エンティティの認識、フィッシングメールの識別に対応し、信頼度をリスク管理フローで直接利用できます。
企業内検索と分類：意図認識、クエリ分類、RAGによる事実確認をミリ秒レベルのレイテンシで実行でき、高並行の業務シナリオに適しています。