APUS-OpenJev-v1 운영 중

APUS-OpenJev-v1은 APUS AI Lab이 오픈 소스로 공개한 엣지용 System 1 의사결정 대규모 모델 시리즈로, TypeSafe AI의 비공개 Jev와 유사합니다. 4B, 9B, 35B-A3B 가중치를 제공하며 브라우저 자동화, 양식 작성, 워크플로 라우팅 등의 작업에서 다음 작업을 빠르게 선택할 수 있습니다. 이 모델은 effort="low/high" 동적 연산 깊이를 처음으로 도입했습니다. low는 후보 인식 투영과 함께 16개 레이어만 실행해 속도가 빠르고 비용이 낮으며, high는 전체 깊이를 사용해 더 높은 정확도를 제공합니다.

후보 작업 의사결정: 작업, 페이지 컨텍스트 및 후보 작업 설명을 바탕으로 다음 비즈니스 작업을 출력합니다.
브라우저 자동화: 버튼, 입력란, 탐색 요소 등의 DOM 정보를 식별해 Agent의 웹 작업을 지원합니다.
비즈니스 규칙 라우팅: 고객 서비스 티켓 분류, 프로세스 승인, 양식 제출 등의 비즈니스 의사결정 시나리오에 적합합니다.
동적 연산 제어: effort="low/high"를 통해 높은 처리량과 높은 품질 사이를 전환합니다.
양식 텍스트 생성: 객관식 의사결정뿐 아니라 검색 키워드, 입력 텍스트 등의 개방형 콘텐츠도 생성할 수 있습니다.
로컬 밀리초급 배포: 단일 GPU 및 vLLM 서비스 배포를 지원해 클라우드 API의 지연 시간과 호출 비용을 줄입니다.
다양한 모델 사양: 4B, 9B, 35B-A3B 버전을 제공하며 각각 경량 엣지, 범용 프로덕션, 고성능 요구에 대응합니다.

WeChat에서 팔로우 후 “开源”라고 답장하여 AI 오픈 소스 프로젝트交流群에 참여하세요.
언어 기반 의사결정 인터페이스: 모델은 작업 목표, 컨텍스트 및 후보 작업 설명을 모두 자연어 입력으로 받고, 후보 작업에 A, B, C 등의 간결한 Token을 연결합니다. 추론 시 모델은 유효한 후보 Token의 확률만 계산한 후 호스트 프로그램이 이를 구체적인 비즈니스 작업으로 매핑합니다.
effort="low/high" 동적 연산 깊이: 동일한 모델 가중치에 두 가지 의사결정 경로가 내장되어 있습니다. effort="low"는 처음 16개의 Transformer 레이어만 실행하고 후보 인식 출력 투영을 결합해 더 적은 연산으로 빈번한 일반 작업을 처리합니다. effort="high"는 32개 전체 레이어로 추론을 수행해 결제, 권한 확인 등 고위험 작업에 적합합니다. 이를 통해 Agent 시스템은 작업의 중요도와 확신 정도에 따라 연산 자원을 동적으로 할당할 수 있습니다.
깊이 간 공동 후학습 및 자기 증류: 얕은 경로가 연산량을 절반으로 줄인 후에도 신뢰할 수 있는 판단 능력을 유지하도록, 모델은 얕은 경로와 깊은 경로를 동시에 실제 라벨로 지도 학습하고, 깊은 경로의 출력 확률 분포를 “소프트 라벨”로 사용해 KL 발산을 통해 얕은 경로로 증류합니다. 얕은 경로의 용량 부족이 깊은 모델의 성능을 저해하지 않도록 학습 시 깊은 경로 출력에 그래디언트 차단을 적용합니다. 이를 통해 깊은 경로는 스스로 최적화되는 동시에 얕은 경로의 교사 역할을 수행할 수 있습니다.
후보 인식 출력 투영: 기존 대규모 모델은 Token 하나를 생성할 때마다 약 24.8만 개의 어휘를 모두 탐색해야 하지만, 구조화된 의사결정에는 일반적으로 후보 작업이 몇 개뿐입니다. 후보 Token에 해당하는 출력 가중치 행만 직접 추출해 행렬 연산을 전체 어휘에서 K개의 후보로 축소합니다. 후보 확률의 논리적 동등성을 유지하면서 출력 헤드의 연산량과 메모리 접근 비용을 크게 줄입니다.

환경 준비: CUDA를 지원하는 PyTorch, Transformers 및 huggingface_hub를 설치하고 로컬 또는 서버에 충분한 GPU 메모리가 있는지 확인합니다.
모델 다운로드: hf download apus-ailab/APUS-OpenJev-v1 --include "9B-3000/*" --local-dir ./APUS-OpenJev-v1을 실행해 필요한 모델 디렉터리를 다운로드합니다.
모델 디렉터리로 이동: 다운로드한 모델 하위 디렉터리로 이동하면 내장된 openjet_runtime 추론 컴포넌트를 바로 사용할 수 있습니다.
모델 로드: OpenJet.from_pretrained(".", device="cuda:0")를 사용해 지정한 GPU에 모델을 로드합니다.
의사결정 요청 구성: instructions, state, candidates 세 필드에 작업 목표, 현재 컨텍스트 및 후보 작업을 입력합니다.
빠른 의사결정 실행: model.decide(request_data, effort="low")를 호출해 낮은 연산 비용으로 빈번한 일반 작업을 처리합니다.
심층 의사결정 실행: model.decide(request_data, effort="high")를 호출해 결제, 제출 등 핵심 작업에 적합한 전체 추론 결과를 얻습니다.
워크플로 텍스트 생성: 검색어 또는 양식 내용을 입력해야 하는 시나리오에서는 model.generate_text()를 호출해 구체적인 텍스트를 생성합니다.
프로덕션 서비스 배포: python deployment/serve_vllm.py --port 8000을 실행해 vLLM으로 OpenAI 호환 인터페이스를 시작합니다.

높은 의사결정 정확도: 공식 80문항 고정 벤치마크에서 9B 버전은 85%를 달성해 Jev 상용 API의 82.5%보다 높습니다.
매우 빠른 응답 속도: 지정된 로컬 vLLM 배포 환경에서 9B의 P50 지연 시간은 25.58ms, 4B는 18ms에 불과합니다.
연산 자원 동적 조절: effort="low/high" 모드를 최초로 도입해 작업 위험도에 따라 속도와 정확도 사이를 자유롭게 전환할 수 있습니다.
빈번한 작업의 비용 절감: effort="low"는 16개 레이어만 실행하고 후보 인식 출력 투영을 사용하므로 스크롤, 다음 단계 클릭 등 빈번한 의사결정에 적합합니다.
핵심 작업의 높은 신뢰성: effort="high"는 전체 네트워크 깊이를 실행해 결제 확인, 권한 승인 등 고위험 시나리오에 적합합니다.
출력 형식 오류 방지: 언어 기반 의사결정 인터페이스를 사용해 출력을 사전 정의된 후보 집합으로 제한하므로 JSON 형식 환각을 제거합니다.
높은 업무 전환성: 동일한 모델을 자연어 설명만으로 브라우저 작업, 고객 서비스 분류, 규칙 검토 등 다양한 작업에 적용할 수 있습니다.

HuggingFace 모델 저장소: https://huggingface.co/apus-ailab/APUS-OpenJev-v1

브라우저 자동화: 웹페이지 DOM, 버튼 및 입력란 정보를 바탕으로 클릭, 스크롤 또는 이동 등의 다음 작업을 빠르게 결정합니다.
기업 프로세스 라우팅: 승인, 티켓 처리 또는 양식 전달 과정에서 비즈니스 규칙에 따라 제출, 반려, 전달 등의 처리 경로를 자동으로 선택합니다.
고객 서비스 티켓 할당: 사용자 문의, 과거 정보 및 후보 처리 부서를 종합해 가장 적합한 고객 서비스 팀 또는 처리 작업을 실시간으로 판단합니다.
금융 및 컴플라이언스 검토: 고위험 작업에 effort="high" 심층 판단을 사용해 이상 거래, 권한 위험 또는 규정 위반 데이터 흐름을 식별합니다.
엣지 지능형 어시스턴트: 경량 모델을 로컬 장치 또는 프라이빗 서버에 배포해 빈번한 Agent 작업에 낮은 지연 시간과 개인정보 보호를 제공하는 의사결정 기능을 지원합니다.