SemIf 운영 중

SemIf(구 OpenJev)는 오픈 소스 AI 의사결정 모델로, 오픈 소스 모델을 사용해 TypeSafe의 폐쇄형 Jev의 의미 기반 의사결정 인터페이스 패턴을 재현합니다. SemIf는 한 번의 순방향 전파로 후보 옵션에 해당하는 logits 점수를 직접 읽고, 서버에서 구조화된 결과를 생성합니다. 여러 질문이 상태를 공유할 때는 접두사를 재사용할 수도 있어 속도를 거의 한 자릿수 배 향상시킬 수 있습니다. SemIf는 RTX 3090에서 실행할 수 있으며, 브라우저 데모를 제공하고, 줄 단위로 재현 가능한 벤치마크, 온도 보정, 27B 모델 브리지를 포함합니다.

WeChat에서 팔로우한 후 “开源”라고 답장하여 AI 오픈 소스 프로젝트 그룹에 참여하세요
직접 logit 점수 계산: 한 번의 순방향 전파로 후보 옵션의 logits를 읽어 확률을 얻습니다. 답변 텍스트를 생성한 뒤 파싱하는 방식보다 약 5배 빠릅니다.
공유 상태 재사용: 여러 의사결정이 동일한 컨텍스트를 공유할 때 접두사를 한 번만 프리필한 다음 각 기준을 직렬 또는 병렬로 평가하여 처리량을 거의 한 자릿수 배 향상시킬 수 있습니다.
런타임 의사결정 정의: 기준과 옵션 설명을 요청에 포함할 수 있어 미세 조정이나 사전 정의된 작업이 필요하지 않으며, 라우팅과 재시도 판단 등 소규모 에이전트 의사결정에 적합합니다.
완전한 감사 가능성: 고정된 prompt, 모델 버전, prompt 해시, 줄 단위 출력 및 알려진 실패 사례를 모두 저장소에 제출하여 정확한 재현을 지원합니다.
온도 보정: 워크로드에 맞춰 학습된 온도 스케일링을 내장하여 확률적 신뢰도와 실제 정확도의 일치도를 개선합니다.
다중 백엔드 지원: CUDA GPU, Apple Silicon(MPS/MLX), CPU 및 브라우저 WebGPU 데모를 지원합니다.

환경 준비: Python 3.10+, CUDA 및 4B BF16 모델을 수용할 수 있는 GPU를 설치합니다.
프로젝트 설치: 가상 환경을 만든 후 pip install -e '.[test]'를 실행합니다.
입력 준비: 각 줄에 id, state, question 및 options 후보 목록이 포함된 JSONL 형식의 의사결정 파일을 작성합니다.
점수 계산 실행: semif-score --mode direct --model Qwen/Qwen3.5-4B --revision <고정 버전> --input examples/decisions.jsonl --output results.jsonl을 실행하면 줄별 옵션 확률, 소요 시간 및 prompt 해시를 얻을 수 있습니다.
공유 상태 모드: 모든 행의 state가 완전히 동일할 때는 --mode shared로 전환하여 접두사를 한 번 프리필한 후 모든 기준을 병렬로 평가합니다.
보정 적용: 프로젝트에 포함된 스크립트를 사용해 대상 워크로드에서 온도 스케일링을 학습하면 출력 신뢰도와 실제 정확도를 일치시킬 수 있습니다.

빠른 의사결정: 옵션 logits를 직접 읽어 생성-파싱 과정을 제거하므로, 21개의 이진 의사결정에 약 1초만 소요되며 JSON 생성보다 5.2배 빠릅니다.
공유 접두사 재사용: 한 번 프리필하고 여러 번 분기 평가하여 공유 상태 환경의 처리량을 2.33에서 최대 20.03 의사결정/초까지 높일 수 있습니다.
생성 토큰 0개: 답변 텍스트를 샘플링하지 않으므로 JSON 형식 오류, 디코딩 루프 및 출력 파싱 실패 문제를 방지합니다.
낮은 하드웨어 요구 사항: 고정된 4B 모델은 RTX 3090 한 장에서 실행할 수 있으며, CPU, Apple Silicon 및 브라우저 WebGPU도 지원합니다.
완전한 오픈 소스 및 재현성: 모든 prompt, 모델 버전, 줄별 결과 및 알려진 실패 사례를 저장소에 제출하여 항목별 감사와 검증이 가능합니다.
보정 가능한 신뢰도: 워크로드별 온도 스케일링을 내장하여 확률적 신뢰도와 실제 정확도를 일치시키며, 출력을 자동화된 의사결정에 바로 사용할 수 있습니다.

프로젝트 공식 웹사이트: https://openjev.com/
GitHub 저장소: https://github.com/TheoLeeCJ/SemIf-OpenJev

고객 지원 티켓 라우팅: 고객 문의 내용과 계정 상태를 바탕으로 ”계정 지원 / 결제 지원” 등의 대기열 옵션에 직접 점수를 계산하여 밀리초 단위로 자동 배정합니다.
Agent 작업 방화벽: Agent가 고위험 작업을 수행하기 전에 후보 작업을 이진 판단하며, 0.700의 복합 정확도로 1차 방어선 역할을 수행할 수 있습니다.
증거 검색 및 순위 지정: 코드베이스 검색과 기업 지식베이스 질의응답(0.929)에서 기존 reranker를 대체하여 한 번의 순방향 전파로 후보 문서 점수를 제공합니다.
추론 결론 검증: NLI 유형의 작업에 사용하여 ”증거가 결론을 뒷받침하는지”를 판단하며, 보정 후 신뢰도를 하위 자동화 작업에 직접 사용할 수 있습니다.