Clef 운영 중

Clef는 Cloudflare가 오픈 소스로 공개한 의사결정 모델 제품군으로, 맥락을 파악한 뒤 다음 동작을 결정합니다. 자유 형식 텍스트를 생성하는 대화 모델과 달리 Clef는 요청 안에서 문제를 즉석으로 정의하고 각 선택지에 확률을 부여하므로, 코드가 이를 바탕으로 라우팅하거나 차단할 수 있으며 새로운 범주가 추가될 때마다 반복해서 재학습할 필요가 없습니다. Clef 제품군 중 27B Clef는 정확도를, 9B Clef-flash는 38.8밀리초의 중앙 지연 시간을 중점으로 하며 Agent의 핫 패스에 적합합니다.

확률 기반 의사결정: state와 유형이 지정된 질문을 입력하면 각 선택지의 확률을 출력하며, 코드가 이를 바탕으로 직접 라우팅, 차단 또는 사람 검토로 에스컬레이션할 수 있습니다.
세 가지 질문 유형: noul, choice, score를 지원하며 한 번의 요청에서 최대 64개의 질문을 처리합니다.
이미지 분류: vision encoder가 내장되어 있어 텍스트와 함께 최대 4장의 이미지를 입력해 점수를 계산할 수 있습니다.
64K 컨텍스트: 긴 로그, 티켓, JSON 상태 등 더 완전한 입력을 담을 수 있습니다.
Jev API 호환: 요청 스키마가 Jev와 일치하므로 마이그레이션 시 엔드포인트와 모델명만 거의 변경하면 됩니다.
비자기회귀 추론: 한 번 prefill한 뒤 유효한 선택지에 병렬로 점수를 매기며, 토큰 단위로 텍스트를 생성하지 않아 범용 LLM보다 지연 시간이 크게 짧습니다.
엣지 호스팅 기반 저지연: Workers AI의 글로벌 GPU 네트워크를 활용해 Clef는 209ms, Clef-flash는 38.8ms의 중앙 지연 시간을 제공하므로 핫 패스에 사용할 수 있습니다.

WeChat에서 “오픈 소스”라고 답장하여 AI 오픈 소스 프로젝트 교류 그룹에 가입하세요.
비자기회귀 의사결정 아키텍처: Clef는 먼저 입력에 대해 한 번의 prefill-only 순방향 계산을 수행한 다음, 요청에 정의된 유효한 스키마 선택지에 병렬로 점수를 매겨 내부 표현에서 구조화된 결과를 직접 도출합니다.
2단계 어텐션 라우팅: 각 유효한 선택지는 먼저 프롬프트에서 자신과 관련된 컨텍스트를 추출한 뒤, 각 필드 매개변수가 서로 cross-attend하고 원본 payload로 되돌아가 공동 모델링을 수행합니다. 여기에 lexical prior를 결합해 선택지 간 의미적 일관성을 유지하고, 최종적으로 스키마 제약에 맞는 점수로 증거를 집계합니다.
동결된 기반 모델 + 경량 어댑터: 기반 모델은 Qwen3.8-27B와 Qwen3.5-9B이며, 주 모델은 동결하고 routing head와 rank-256 LoRA 어댑터만 공동 최적화합니다. 매우 적은 학습 가능 매개변수로 의사결정 능력을 확보해 학습 및 배포 비용을 낮춥니다.
캘리브레이션 중심 학습 목표: post-training에서는 label-smoothed cross-entropy를 사용해 출력이 유효한 스키마 안에 있도록 보장하고, Brier loss를 추가해 확률을 전문적으로 보정함으로써 출력 확률 자체의 신뢰성을 높입니다.
RLCD 강화 학습: 자체 개발한 Reinforcement Learning for Calibrated Decisions를 2차 최적화 목표로 사용합니다. 인접한 서수 선택지에는 부분 점수를 부여하고 정확히 일치하면 전체 점수를 부여하며, reference penalty로 분포 변화를 방지해 정확도와 일반화 성능을 향상합니다.
데이터 전략: 학습 데이터는 내부 합성 데이터 세트로 구성됩니다. 필드 순서, prompt, schema 구조를 치환해 일반화 성능을 높이며, 모델이 질문 작성 방식에 덜 민감하고 요청 시 즉석에서 정의된 새로운 범주에도 대응하도록 합니다.

계정 및 권한 확인: Cloudflare 계정을 등록하고 Account ID와 API Token을 받은 뒤 Workers AI를 활성화합니다.
모델 선택: 필요에 따라 @cf/cloudflare/clef 또는 @cf/cloudflare/clef-flash를 선택합니다.
요청 본문 구성: model, state(텍스트/JSON 상태), questions(1~64개의 noul/choice/score 유형 질문)을 작성하고 criteria의 경계를 명확히 정의합니다.
호출 실행: REST POST를 /accounts/{id}/ai/run/@cf/cloudflare/clef로 보내거나 Worker에서 env.AI.run() 바인딩을 통해 호출합니다.
확률 결과 해석: response.answers에서 각 질문의 선택지 확률/가중 점수를 읽고, “최고 선택지 + 확률 임계값”으로 라우팅 또는 차단을 수행합니다.
이미지 연결(선택 사항): 시각적 판단이 필요하면 PNG/JPEG/WebP 바이트를 요청에 포함하며 원격 URL은 전달하지 않습니다.
출시 전 부하 테스트: 자체 state 길이와 질문 수를 기준으로 지연 시간과 정확도를 측정한 뒤, 전체 전환 여부 또는 위험도에 따른 flash/clef 분기를 결정합니다.
고급 미세 조정(선택 사항): 도메인 라벨이 특수한 경우 AI Gateway를 통해 데이터를 축적하고 FDE 팀의 RL 미세 조정 서비스로 맞춤형 모델을 구성합니다.

빠른 속도: 비자기회귀 병렬 점수 계산과 엣지 GPU 호스팅을 결합해 Clef는 209ms, Clef-flash는 38.8ms의 중앙 지연 시간을 제공하며, Jev보다 2.5×~13× 빠르므로 핫 패스에 사용할 수 있습니다.
높은 정확도: Jev Decision Index에서 1위를 차지했으며, 공식 10개 의사결정 벤치마크 중 7개에서 최고 점수를 기록했고 Typesafe 워크플로 평가에서는 4개 중 3개에서 승리했습니다.
재학습 없이 범주 추가: 범주를 요청 안에서 즉석으로 정의하므로 기존 분류기처럼 새 라벨이 추가될 때 모델을 재학습할 필요가 없습니다.
보정 가능한 확률: Brier loss와 RLCD 학습을 통해 출력 확률 자체의 신뢰성을 높여, 임계값을 직접 설정해 자동화된 의사결정을 수행할 수 있습니다.
네이티브 멀티모달: 내장 vision encoder로 이미지를 분류할 수 있지만 Jev는 현재 텍스트만 지원합니다.
두 배 확장된 컨텍스트: 64K 컨텍스트(Jev는 32K)로 더 긴 로그와 상태를 입력할 수 있습니다.
비용 없는 마이그레이션: Jev API와 완전히 호환되므로 엔드포인트와 모델명만 바꾸면 원활하게 교체할 수 있습니다.

프로젝트 공식 웹사이트: https://blog.cloudflare.com/clef-decision-models/
HuggingFace 모델 저장소: https://huggingface.co/Cloudflare/clef
https://huggingface.co/Cloudflare/clef-flash

고객 지원 티켓 분류: 티켓 내용과 스크린샷을 입력해 한 번의 요청으로 긴급 여부, 담당 팀 라우팅 대상, 심각도 점수를 동시에 판단하고, 신뢰도가 낮으면 자동으로 사람 검토에 에스컬레이션합니다.
위협 인텔리전스 및 피싱 방지: Browser Run과 함께 렌더링된 웹페이지를 수집하고 도메인/페이지를 여러 라벨로 분류하며, 공식 측정에서 전체 과정이 2.2초에 불과했습니다.
Bot 트래픽 판별: 게이트웨이 핫 패스에서 Clef-flash로 크롤러가 정상인지 악성인지 빠르게 판단해 밀리초 단위로 차단하거나 허용합니다.
Agent 도구 호출 전 사전 심사: Agent가 고위험 작업을 실행하기 전에 Clef에 “실행해야 하는지, 어떤 도구를 사용할지”를 먼저 물어보고, 확률 임계값에 따라 실행 여부를 결정하거나 확인을 요청합니다.