Jev 운영 중

Jev는 TypeSafe AI가 출시한 AI 구조화 의사결정 모델입니다. 모델은 대화하거나 코드를 작성하거나 텍스트를 생성하지 않고, 오직 한 가지 일, 즉 고빈도 의사결정만 수행합니다. 비구조화 정보를 입력받아 한 번의 병렬 연산으로 보정 확률이 포함된 구조화된 판단을 즉시 출력합니다. 지연 시간은 70–500밀리초에 불과하며, 입력 비용은 백만 token당 0.042달러, 출력은 무료이고, 유형 오류율은 0%입니다. Agent 시스템의 전단 반사궁 역할을 하며 라우팅, 분류, 위험 관리 사전 심사, 콘텐츠 필터링 등 고빈도 판단을 담당해 최첨단 대규모 모델이 복잡한 추론에 집중하도록 합니다. 세계 지식을 갖춘 슈퍼 의사결정기라고 할 수 있습니다.

구조화된 의사결정 출력: 모델은 사전 정의된 유형 내의 Choice(선택), Score(점수), Noul(불리언 판단)만 반환하며 보정 확률을 함께 제공합니다.
병렬 다중 판단: 한 번의 호출로 여러 독립적인 질문에 동시에 답할 수 있으며, 지연 시간은 질문 수에 비례해 증가하지 않습니다.
신뢰도 기반 라우팅: 보정된 신뢰도에 따라 자동으로 분기합니다. 높은 신뢰도는 즉시 실행하고, 중간 신뢰도는 대규모 모델에 재검토를 맡기며, 낮은 신뢰도는 사람에게 전달합니다.
Agent 전단 필터 계층: 라우팅, 분류, 검증, 상태 확인 등 고빈도 소규모 의사결정을 맡아 비용이 높은 대규모 모델 호출을 90% 이상 줄입니다.
형식 오류 제로 보장: 출력은 사전 설정된 Schema 안으로 엄격하게 제한되며, 유형 오류율은 수학적으로 0%이므로 코드 파이프라인에 바로 통합할 수 있습니다.
밀리초 단위 실시간 판단: 70–500밀리초 응답과 약 $0.0004의 건당 의사결정 비용으로 AI를 처음으로 게임 조작, 실시간 콘텐츠 필터링, 거래 의사결정 등 지연 시간에 민감한 분야에 적용할 수 있습니다.

자기회귀를 제거하고 병렬 샘플링으로 전환: 기존 LLM은 Token을 순차적으로 생성하므로 출력이 길수록 디코딩 단계가 늘어납니다. Jev는 자체 개발한 parallel sampler를 사용해 한 번의 순전파 연산에서 모든 판단 결과를 동시에 생성하며, 글자 단위의 순차 디코딩이 필요하지 않습니다.
출력 공간 제한: 개발자가 Schema를 미리 정의하면(예: refund_risk={low, medium, high}), 모델은 해당 선택지 안에서만 확률을 배분합니다. 자유도를 효율성으로 바꾸어 출력이 항상 파싱 가능하고 코드가 바로 사용할 수 있으며, 메커니즘 차원에서 형식 환각과 유형 오류를 제거합니다.
RLCD 학습법: Reinforcement Learning for Calibrated Decisions. RLHF가 인간의 선호를 최적화하고 RLVR이 검증 가능한 답변을 최적화한다면, RLCD는 ‘판단이 맞는가’와 ‘모델이 제시한 신뢰도가 정직한가’를 최적화합니다. 모델이 여러 작업에 대해 90%의 확신을 보고한다면 그중 약 90%가 실제로 정확해야 하며, 이것이 자동화된 분류와 라우팅의 수학적 전제입니다.
신뢰도 자체가 인터페이스: 모든 출력에는 보정 확률이 포함됩니다. 소프트웨어는 임계값에 따라 라우팅합니다. >0.90은 자동 실행, 0.7–0.9는 대규모 모델 재검토, <0.7은 사람에게 전달하여 불확실성을 시스템에 명시적으로 노출합니다.

Early Access 신청: TypeSafe AI 공식 웹사이트 https://typesafe.ai/를 방문해 waitlist에 등록하고, 승인 후 console.typesafe.ai에서 API key를 받습니다.
Playground 체험: Console의 Playground에서 질문을 구성하고 출력 Schema를 정의해 확률이 포함된 의사결정 결과를 직관적으로 확인할 수 있습니다.
Schema 정의: 판단할 질문과 유형(Choice/Score/Noul 및 각 선택지)을 JSON으로 미리 선언합니다. 호출 전에 필요한 유일한 준비 작업입니다.
API 호출: https://api.typesafe.ai/v1/systemone으로 POST 요청을 보내고, 모델 ID에 jev-latest를 입력합니다. 비구조화 콘텐츠를 전송하면 구조화된 판단과 보정 확률이 반환됩니다.
공식 SDK 사용: Python에는 typesafe-sdk를, JS/TS에는 @typesafe-ai/sdk를 설치하면 요청 구성과 유형 검증을 자동으로 처리할 수 있습니다.

극도로 짧은 지연 시간: 70–500밀리초의 종단 간 응답으로 최첨단 대규모 모델보다 40–200배 빠르며, AI 판단을 처음으로 실시간 환경에 적용할 수 있습니다.
매우 낮은 비용: 입력은 백만 token당 0.042달러, 출력은 무료이며, 건당 의사결정 비용은 약 $0.0004로 GPT보다 최대 444배 저렴합니다.
형식 오류 제로: 출력은 사전 설정된 Schema 안으로 엄격하게 제한되며, 유형 오류율은 수학적으로 0%입니다.
보정 가능한 신뢰도: 모든 판단에 정직한 확률이 포함됩니다(RLCD 학습). 시스템은 임계값에 따라 자동으로 분기할 수 있으며, 이는 자동화 구현의 수학적 전제입니다.
병렬 다중 판단: 한 번의 호출로 여러 독립적인 질문에 동시에 답하며, 지연 시간은 질문 수에 비례해 증가하지 않습니다.
범용 의미 이해 능력 유지: 기존 분류기와 달리 제로샷으로 새로운 작업을 처리할 수 있어 판단 유형별로 다시 학습할 필요가 없습니다.

프로젝트 공식 웹사이트: https://typesafe.ai/blog/introducing-system-one-models-and-jev

콘텐츠 필터링 및 추천 사전 심사: 실시간으로 피드 내 선동적 콘텐츠와 광고를 접거나, 수만 건의 수집 정보에 대해 AI 관련성 사전 심사를 수행하고, 정밀 심사는 비용이 높은 모델에 맡깁니다.
티켓 라우팅 및 고객 지원 분류: 이메일 한 통으로 담당 부서, 긴급도, 환불 위험, 사람의 개입 필요 여부를 동시에 판단하며, 신뢰도가 높은 티켓은 자동으로 처리합니다.
위험 관리 및 규정 준수 사전 심사: 거래, 신용, UGC 콘텐츠의 위험 등급을 분류하고 확률을 출력합니다. 신뢰도가 높으면 자동 승인하고, 낮으면 사람에게 전달하거나 고성능 모델의 재검토를 받습니다.
Agent 파이프라인 의사결정 계층: 도구 선택, 결과 정렬, 상태 확인, 종료 여부 등 고빈도 소규모 판단을 담당해 비용이 높은 대규모 모델 호출량을 90% 이상 줄입니다.