awesome-jev란?
awesome-jev는 Jev 및 TypeSafe AI의 System One 의사 결정 모델과 관련된 공개 예제들을 선별해 모아 놓은 카탈로그입니다. 저자, 문서 또는 저장소별로 리소스를 구성하는 대신 도구 선택, 컨텍스트 순위 지정, 위협 분류, 정보 보존 여부 결정 등 내려야 할 결정을 기준으로 그룹화합니다.
이 저장소는 색인이지 Jev 제품이나 SDK가 아닙니다. TypeSafe AI와 제휴 관계가 없으며, 포함되었다고 해서 추천을 의미하지도 않습니다. 개발자가 구현을 발견하고, 사용된 기본 요소를 살펴보며, 패턴을 도입하기 전에 중요한 주의사항을 이해하도록 돕는 것이 목적입니다.
카탈로그 항목은 해당 링크가 정상적으로 연결되고 누군가 검토했다는 뜻입니다. 구현이 정확하거나 안전하거나 효과적이거나 프로덕션에 적합하다는 의미는 아닙니다.
Jev 이해하기
Jev는 상태와 타입이 지정된 질문을 입력받은 다음, 보정된 확신도와 함께 타입이 지정된 답변을 반환합니다. 긴 형식의 텍스트 생성보다는 에이전트 루프 내부에서 빠르고 저렴한 의사 결정을 내리도록 설계되었습니다.
카탈로그는 다음 세 가지 Jev 기본 요소를 추적합니다.
- Choice: 사용 가능한 옵션 중에서 하나를 선택해야 할 때 사용합니다.
- Score: 항목이나 후보에 타입이 지정된 점수가 필요할 때 사용합니다.
- Noul: 개별 판단이나 명제에 사용합니다.
서로 다른 기본 요소 조합을 서로 바꿔 사용할 수 있다고 가정해서는 안 됩니다. README는 여러 옵션에 대해 하나의 Choice를 사용하는 것과 각 옵션에 하나씩 Noul을 사용하는 것이 서로 다른 질문에 답한다고 명시적으로 경고합니다. 이러한 구분은 구현 오류의 흔한 원인입니다.
Jev는 문자열, JSON 객체, 텍스트 배열을 포함한 텍스트 입력을 받습니다. 문서에 따르면 요청 컨텍스트는 64,000토큰이며, 상태와 가장 긴 질문에 사용할 수 있는 토큰은 32,000개입니다. 공개된 모델 가중치가 없으므로 Jev는 로컬에서 실행할 수 없습니다.
카탈로그의 주요 기능
결정 중심 구성
기본 색인은 항목을 재사용 가능한 결정 패턴별로 그룹화합니다. 따라서 Jev를 언급하기만 하는 무관한 게시물을 검색하는 대신 “에이전트는 도구를 어떻게 선택하는가?”와 같은 질문에 더 쉽게 답할 수 있습니다.
검색 및 공유 가능한 보기
검색 가능한 사이트는 필터, 항목 카드, 커버리지 히스토그램, 공유 가능한 URL을 제공합니다. 또한 전용 기본 요소 보기와 호환성 보기도 포함합니다.
근거 및 주의사항 메타데이터
항목에는 출처, 구현 언어, 코드에서 실제로 호출되는 기본 요소가 표시됩니다. 또한 섀도 모드, 공급업체 수치, 검증되지 않음, 라이선스 없음과 같은 주의사항이 포함될 수 있습니다. 전체 메모는 catalog.json에 저장되며 사이트에 표시됩니다.
커버리지 및 연구 공백
커버리지 보기에서는 각 결정 패턴에 대해 공개된 예제가 몇 개 있는지 보여줍니다. 0은 표시 문제가 아니라 연구 공백을 의미합니다. 이는 확립된 패턴을 발견하고 아직 공개적으로 입증되지 않은 그럴듯한 적용 사례를 파악하는 데 모두 유용합니다.
독립적인 측정 결과
전용 섹션에서는 홍보성 주장 대신 측정된 결과를 강조합니다. 여러 항목에서 부정적이거나 중립적인 결과를 보고하며, 여기에는 Jev가 기존 요약기보다 낮은 성능을 보였거나, 기존 분류기와 동률을 기록했거나, 의미 있는 지연 시간 개선 없이 청구되는 입력량만 증가한 평가가 포함됩니다.
설치 및 설정
옵션 1: 호스팅된 카탈로그 사용
일반적인 조사에는 설치가 필요하지 않습니다. 호스팅 사이트를 열고 결정 패턴을 선택한 다음 일치하는 항목을 살펴보세요.
- 검색 가능한 사이트를 엽니다.
- 커버리지 히스토그램에서 막대를 선택해 결정 패턴별로 필터링합니다.
- 항목을 열고 출처, 언어, 기본 요소 및 주의사항을 검토합니다.
- 필터링된 보기를 공유하려면 결과 URL을 복사합니다.
옵션 2: 저장소 복제
소스 데이터, 문서, 예제 또는 생성 스크립트를 로컬에서 살펴보려면 프로젝트를 복제합니다.
git clone https://github.com/kydlikebtc/awesome-jev.git
cd awesome-jevREADME는 catalog.json에서 생성됩니다. 저장소에서는 생성된 README를 직접 수정하지 말고 카탈로그를 편집하라고 유지관리자에게 명시적으로 안내합니다. 다시 빌드하려면 저장소 루트에서 다음 문서화된 명령을 실행합니다.
python3 scripts/build_readme.py제공된 자료에는 README에 추가 설치 단계가 명시되어 있지 않습니다. 카탈로그를 수정하거나 검증하기 전에 저장소 파일과 자동화 설정을 확인하세요.
기본 사용법: 관련 구현 찾기
1단계: 결정 정의
광범위한 기술 분류가 아니라 시스템이 내려야 하는 결정부터 시작합니다. 예를 들면 다음과 같습니다.
- 에이전트가 다음에 호출해야 할 도구는 무엇인가?
- 검토 컨텍스트에 포함해야 할 파일은 무엇인가?
- 이전 도구 결과가 여전히 중요한가?
- 뉴스 항목에 가장 잘 맞는 위협 범주는 무엇인가?
2단계: 해당 패턴 선택
사이트의 커버리지 히스토그램이나 README의 의사결정 패턴 섹션을 사용하세요. 에이전트가 다음 작업을 선택하는 경우 먼저 도구 선택부터 살펴보세요. 카탈로그에는 함수 호출과 스킬 제안부터 브라우저 제어와 권한 검토까지 다양한 예시가 포함되어 있습니다.
3단계: 프리미티브로 필터링
아키텍처에서 이미 질문 유형을 제시하는 경우 프리미티브 뷰를 사용하세요. 닫힌 집합에서 작업을 선택한다면 Choice 예시를 살펴보게 될 수 있고, 독립적인 관련성 판단이 필요하다면 Score 또는 Noul 예시를 살펴보게 될 수 있습니다.
프리미티브 레이블은 참조된 코드가 호출하는 항목에 대한 설명으로 보아야 하며, 구현이 최적의 프리미티브를 선택했다는 보장은 아닙니다.
4단계: 주의사항 읽기
링크된 프로젝트를 열기 전에 경고 태그와 카탈로그 메모를 확인하세요. 예를 들어 섀도 모드로 표시된 통합은 시스템에 연결되어 있지만, 해당 결정이 프로덕션 레이블, 캐시 또는 알림에 영향을 주지 않도록 의도적으로 차단할 수 있습니다.
5단계: 원본 소스 확인
카탈로그는 탐색에 사용하고, 연결된 저장소나 문서에서 동작을 검증하세요. 상태가 어떻게 구성되는지, 질문이 어떻게 유형화되는지, 어떤 임계값이 사용되는지, 신뢰도가 낮을 때 어떤 일이 발생하는지 확인하세요.
예시 연구 워크플로
세 가지 프리미티브 학습
처음 학습한다면 저장소에서 권장하는 읽기 순서를 따르세요:
- Choice, Score, Noul 질문이 포함된 요청에 대한 공식 빠른 시작 가이드를 읽습니다.
- Jev 1.13의 알려진 제한 사항을 읽습니다.
- 카탈로그의 세 가지 프리미티브 예시를 확인합니다.
저장소에는 로컬 예시를 공식 API 레퍼런스와 필드별로 대조했지만 실제 API를 대상으로 실행하지는 않았다고 명시되어 있습니다. 이를 평가할 때 이 구분을 유지하세요.
도구 선택 연구
대규모 카탈로그에서 하나의 도구를 선택해야 하는 에이전트를 설계한다고 가정해 보세요. 도구 선택 패턴을 검색하고 다음과 같은 구현을 비교하세요:
- 닫힌 집합 질문을 사용해 요청을 유형화된 함수에 매핑하는 공식 함수 호출 쿡북
- 스킬이 필요한지 평가하고 후보 스킬의 순위를 매기는 스킬 제안 쿡북
- 후보 도구를 판단하기 전에 대략적인 순위를 매기는 FastMCP의 실험적 Jev 검색 변환
- 도구 호출을 재구성하고 보류 또는 확인 필요 사례를 처리하는 Composio 제공자
이 항목들을 비교하면 단순한 인기 순위로는 드러나지 않는 아키텍처 선택을 확인할 수 있습니다. 여기에는 단계적 검색, 명시적 보류, 별도의 확인 처리가 포함됩니다.
컨텍스트 선택 평가
Jev로 파일이나 메모리의 순위를 매기려면 홍보용 데모보다 측정된 예시부터 살펴보세요. 카탈로그에 따르면 no-mistakes 검토 컨텍스트 실험은 후보 파일마다 하나의 Score를 사용했으며, 실제 경과 시간은 사실상 개선되지 않은 반면 청구되는 입력은 크게 증가했습니다. 이 결과가 해당 패턴이 항상 비효율적이라는 뜻은 아니지만, 더 단순한 기준선과 비교해 벤치마크해야 할 구체적인 이유를 제공합니다.
고급 팁
독립적인 측정 우선
방법, 기준선, 실패 사례, 원자료 또는 재현 가능한 근거를 공개하는 벤치마크 항목을 우선하세요. 카탈로그는 Hermes Agent 압축 평가를 강조합니다. 이 평가에서는 Jev를 기존 요약기와 비교하고 해당 접근 방식을 채택하지 않기로 한 결정을 공개했습니다.
중립적인 결과도 유용할 수 있습니다. 블라인드 평가에서 Jev가 기존 모델과 동률에 그친 것으로 나타난 뒤 worldmonitor 통합은 섀도 모드로 유지되었습니다. 이는 새로운 의사결정 시스템이 프로덕션 동작에 즉시 영향을 주지 않도록 하면서 테스트하는 실용적인 모델입니다.
옵션 순서 민감도 테스트
한 독립 보고서에서는 옵션 순서를 뒤집자 확률이 0.9 임계값을 넘을 만큼 변했습니다. 이 결과는 재현되지 않았으므로 그 규모를 보편적인 것으로 간주해서는 안 됩니다. 그러나 다음과 같은 유용한 견고성 테스트를 제안합니다:
- 원래 옵션 순서로 동일한 결정을 실행합니다.
- 의미는 바꾸지 않고 옵션을 섞거나 순서를 뒤집습니다.
- 선택된 답변과 신뢰도 값을 비교합니다.
- 운영 임계값을 넘는지 확인합니다.
무해한 순서 변경으로 프로덕션 동작이 달라진다면 임계값은 보이는 것보다 안정적이지 않을 수 있습니다.
동등한 예산 및 단순한 기준선 비교
항상 Jev를 대체 대상 시스템과 비교하세요. 최신성순 정렬, 결정적 규칙, 기존 분류기 또는 전용 재순위 모델과 같은 단순한 대안도 포함하세요. 컨텍스트 예산이 다르면 동일한 예산으로 결과를 비교하여 평가가 추가 입력이 아니라 의사결정 품질을 측정하도록 하세요.
유형화된 출력과 올바른 출력 구분
유형화된 답변은 통합 편의성을 높이지만, 기본 의사결정이 올바르다는 보장은 하지 않습니다. 애플리케이션을 대표하는 데이터에서 정확도, 보정, 지연 시간, 비용 및 실패 동작을 검증하세요.
보류 및 검토를 고려한 설계
카탈로그의 예시에는 명시적 보류, 확인 필요 사례, 섀도 배포 및 옵트인 기능이 포함되어 있습니다. 잘못된 고신뢰도 답변이 안전하지 않거나 비용이 큰 작업을 유발할 수 있는 경우 이러한 패턴이 특히 유용합니다.
구현 전 호환성 확인
플랫폼 간 차이는 저장소의 호환성 문서를 검토하세요. Python, JavaScript, TypeScript, Go 또는 다른 언어로 작성된 예제가 동일한 동작이나 통합 세부 정보를 제공한다고 가정하지 마세요.
카탈로그 데이터를 올바르게 사용하기
프로젝트를 편집할 때는 catalog.json을 기준 데이터로 취급하고, 이후 README를 다시 생성하세요. 저장소의 배지는 카탈로그 데이터가 CC0-1.0, 프로젝트 코드가 MIT 라이선스임을 나타내지만, 연결된 프로젝트의 라이선스는 서로 다르거나 없을 수 있으므로 각 프로젝트를 개별적으로 확인해야 합니다.
피해야 할 일반적인 실수
- 카탈로그를 보증으로 간주하기: 포함되었다는 것은 해당 링크를 검토하고 연결이 확인되었다는 의미일 뿐입니다.
- 별 수만으로 예제 선택하기: 인기도만으로 정확성, 보정 상태 또는 적합성이 입증되지는 않습니다.
- Choice와 독립적인 Noul 판단을 혼동하기: 이러한 구성은 서로 다른 질문에 답합니다.
- 기준선 없이 공급업체의 성능 수치를 신뢰하기: 독립적으로 재현 가능한 측정을 우선하세요.
- 부정적인 결과 무시하기: 실패했거나 중립적인 실험이 실무에 가장 유용한 엔지니어링 지침을 제공하는 경우가 많습니다.
- 형식이 지정된 출력이 정확성을 보장한다고 가정하기: 레이블이 지정된, 또는 그 밖에 타당성을 입증할 수 있는 정답 데이터를 기준으로 판단을 검증하세요.
- 생성된 README를 직접 편집하기: 대신
catalog.json을 수정하고 빌드 스크립트를 실행하세요.
결론
awesome-jev는 Jev 통합을 위한 근거 중심의 연구 지도로 활용하는 것이 가장 좋습니다. 시스템이 내려야 하는 결정부터 시작하고, 패턴과 프리미티브를 기준으로 예제를 필터링하며, 주의사항을 확인하고, 모든 주장을 원문에서 검증하세요. 설계를 도입하기 전에 자체 데이터로 재현하고, 단순한 기준선과 비교하며, 신뢰도의 안정성을 테스트하고, 판단 보류 또는 사람의 검토를 위한 계획을 마련하세요.