Startlux-Decision 운영 중

StartLux-Decision은 StartLux Labs가 출시한 의사결정 모델 제품군으로, 0.8B부터 27B까지 5개의 밀집 모델과 35B-A3B 혼합 전문가 모델을 포함합니다. StartLux-Decision은 텍스트, JSON 또는 이미지 형식의 상태를 입력받아 선택형, 참·거짓형, 점수형 문제에 대해 한 번의 순전파 추론으로 각 선택지의 확률을 반환하며, 이를 신뢰도로 사용할 수 있습니다. 모델은 기본적으로 256K 토큰의 긴 컨텍스트를 지원하고 밀리초 단위의 지연 시간을 제공하며, Jev의 TypeSafe 클라이언트 형식과 호환됩니다.

유형화된 의사결정: 선택형, 참·거짓형, 점수형의 세 가지 문제 유형을 지원하며, 각 문제에 대해 선택지별 확률 분포를 반환합니다.
멀티모달 입력: 상태는 텍스트, JSON 또는 이미지일 수 있으며(2026-10-03 업데이트), 증거와 이미지를 요청의 일부로 포함할 수 있습니다.
초장문 컨텍스트: 모든 크기의 모델이 기본적으로 262,144 토큰(256K) 프롬프트 길이를 지원하며, 긴 상태를 한 번만 분할해 읽습니다.
신뢰도 출력: 확률을 그대로 신뢰도로 사용할 수 있어 위험 정량화가 필요한 자동화 프로세스에 적합합니다.
높은 처리량과 짧은 지연 시간: 짧은 문제는 한 번의 순전파에 불과 몇 밀리초가 걸리며, 배치 추론(batched path)과 CUDA Graphs 가속을 지원합니다.
전 플랫폼 배포: llama.cpp용 GGUF 양자화(BF16/Q8_0/Q4_K_M)를 제공하며, Apple Silicon에서는 MLX 백엔드를 사용할 수 있습니다.
게임 및 에이전트 애플리케이션: 웹 쇼핑, 체스, 슈퍼 마리오, 스타크래프트 II, Doom 등 실시간 의사결정 시나리오에서 검증되었습니다.
Jev 생태계 호환: 요청과 응답에 TypeSafe /v1/systemone 형식을 사용하며, Jev용으로 작성된 클라이언트를 원활하게 연결할 수 있습니다.

WeChat에서 “开源”라고 답장하여 AI 오픈소스 프로젝트交流群에 참여하세요.
한 번의 순전파로 답변 읽기: 모델은 선택지를 문자 레이블로 렌더링하고, forward pass 후 선택지 문자 위치에서 확률을 직접 읽습니다. 한 요청에 포함된 모든 문제는 한 번의 순전파에서 병렬로 처리됩니다.
선형 어텐션 아키텍처: flash-linear-attention과 causal-conv1d 고속 커널을 사용해 짧은 요청의 지연 시간을 크게 줄입니다. 또한 성능 보장을 위해 이러한 커널이 없는 GPU에서는 서버가 시작되지 않습니다.
MoE 그룹 행렬 곱셈: 35B-A3B 혼합 전문가 모델은 토큰마다 약 3B개의 파라미터만 활성화합니다. 전문가는 grouped matmul로 실행되고 CUDA Graphs가 적용되어, 지연 시간이 27B 밀집 모델의 약 절반입니다.
긴 입력의 분할 및 분기: 256K 길이의 상태를 한 번 분할해 읽고, 요청의 각 문제는 해당 표현에서 분기해 계산하므로 중복 인코딩을 방지합니다.
확률 보존 양자화: GGUF의 BF16과 Q8_0은 JevBench 항목의 99–100%에서 원래 가중치와 완전히 동일한 의사결정을 내립니다. 이는 의사결정 능력이 양자화에 매우 강건함을 보여줍니다.

가중치 다운로드: hf download startlux-models/StartLux-Decision-4B --local-dir StartLux-Decision-4B를 통해 Hugging Face에서 다운로드합니다.
의존성 설치: 모델 디렉터리로 이동한 뒤 pip install -r requirements.txt를 실행합니다.
커널 확인: python -m startlux_decision.check StartLux-Decision-4B를 실행하고 “fast kernels: active”가 출력되는지 확인합니다.
서비스 시작: python -m startlux_decision.server --model StartLux-Decision-4B --port 8090을 실행해 로컬 추론 서비스를 시작합니다.
요청 전송: localhost:8090/v1/systemone으로 state와 questions(choice / noul / score 유형)을 포함한 JSON을 전송합니다.
결과 확인: 응답에는 각 문제의 선택지별 확률 분포가 반환되며, 이를 의사결정 신뢰도로 바로 사용할 수 있습니다.
GGUF 방식(선택 사항): 해당 GGUF 저장소를 다운로드한 후 먼저 llama-server를 시작하고, python -m startlux_decision.gguf_server를 실행해 llama.cpp 앞단에서 의사결정 서비스를 제공합니다.

확률 기반 의사결정: 각 문제에 대해 선택지별 확률을 직접 반환하므로 신뢰도를 자연스럽게 사용할 수 있으며 추가 보정이 필요하지 않습니다.
매우 짧은 지연 시간: 한 번의 순전파로 답변을 얻으며, 4B 모델은 26ms, 35B-A3B 모델은 52.5ms에 불과합니다.
벤치마크 전반에서 우수한 성능: Decision Index 0.2.1에서 63.88을 기록해 Jev 1.13을 비롯한 모든 공개 경쟁 모델을 앞섭니다.
초장문 컨텍스트: 전체 제품군이 기본적으로 256K 토큰 입력을 지원하며, 긴 문서를 한 번만 읽습니다.
멀티모달 증거: 모든 크기의 모델이 이미지를 의사결정 근거로 읽을 수 있습니다.
동급 모델을 전반적으로 상회: 0.8B부터 35B까지 모든 규모에서 비슷한 크기의 경쟁 모델보다 우수합니다.
Jev 생태계 호환: TypeSafe /v1/systemone 형식을 사용하므로 Jev용 클라이언트를 수정 없이 연결할 수 있습니다.

GitHub 저장소：https://github.com/StartLuxLabs/Startlux-Decision
Hugging Face 모델 저장소：https://huggingface.co/collections/startlux-models/startlux-decision-6abba92b301b573fa154d493

지능형 고객 서비스 티켓 분류: 티켓 텍스트나 이미지를 입력하면 한 번의 요청으로 담당 팀, 긴급 처리 여부 및 심각도를 판단하며, 선택지 확률을 신뢰도로 사용할 수 있습니다.
컴퓨터 작업 자동화: 실제 브라우저를 단계별로 조작해 컨트롤을 선택하고 작업 완료 여부를 판단하며, 웹 주문과 쇼핑을 자동으로 완료하는 기능이 시연되었습니다.
게임 AI 의사결정: 한 번의 순전파로 이동, 건설, 사격 등의 행동 확률을 출력하며, 체스, 스타크래프트 II, Doom 등의 게임에서 검증되었습니다.
금융 리스크 관리 및 컴플라이언스: 계약 조항 검토, 금융 엔터티 식별 및 피싱 이메일 판별을 지원하며, 신뢰도를 리스크 관리 프로세스에 바로 사용할 수 있습니다.
기업 검색 및 분류: 밀리초 단위의 지연 시간으로 의도 식별, 쿼리 분류 및 RAG 사실 검증을 수행해 높은 동시성이 필요한 업무 시나리오에 적합합니다.