Neon은 어제(8월 6일) 블로그 글을 게시하고 Castform과 협력해 검색 모델을 위한 학습 방안을 공개했다고 발표했다.
참고: Neon은 완전 관리형 서버리스(PostgreSQL) 데이터베이스다. 컴퓨팅과 스토리지를 분리하고 자동 확장, 필요에 따라 0까지 축소, Git과 유사한 데이터베이스 브랜치 기능을 지원해 현대적인 클라우드 네이티브 애플리케이션과 AI 에이전트에 매우 적합하다.
Castform은 주로 기업과 개발자를 대상으로 AI 음성 에이전트와 모델 학습 플랫폼을 제공한다. 고도로 사실적인 음성 상호작용과 자동화된 워크플로를 통해 기업의 일상적인 통화, 영업 후속 조치 및 고객 지원을 돕는다.
블로그 글에 따르면 훌륭한 AI 에이전트는 다음 2가지 능력을 갖춰야 한다. 첫째, 도구를 통해 정확한 맥락 데이터를 찾는 능력이고, 둘째, 해당 검색에 어떤 모델을 사용할지 라우팅하고 판단하는 능력이다.
이에 Neon 팀은 Castform과 협력해 강화학습을 활용하여 4B 파라미터 오픈 소스 모델 1개를 후학습했다. 검색 작업에서 이 모델의 정확도는 OpenAI의 GPT-5.6 Sol과 비슷하거나 더 높았으며, 비용은 후자의 약 1/100에 불과했다.
Neon 팀은 문서 검색에서 현재 주류 방식이 임베디드 검색(embedded search)이라고 지적했다. 일반적으로 문서를 수치 데이터로 변환한 다음 유사한 내용을 검색하는 방식이다.
하지만 AI 에이전트의 보급과 함께 검색 프로세스는 에이전트형 검색으로 전환되기 시작했다. 이러한 시스템에서 AI 모델은 대규모 문제를 여러 개의 작은 문제로 나누고, 검색 질의를 자율적으로 결정하며, 검색 결과를 확인한 뒤 결과를 바탕으로 다음 검색을 수행한다. 필요한 정보를 수집할 때까지 이 과정을 반복한다.
Neon은 에이전트형 검색이 복잡한 문제를 처리하는 데 더 적합하지만, 검색할 때마다 고성능 모델을 호출해야 하므로 시간과 비용이 증가한다고 밝혔다. Neon이 제시한 일반적인 요청 기준으로 GPT-5.6 Sol을 사용한 검색 요청 1회의 처리 시간은 10초를 넘고 비용은 약 $0.03이다.
Castform은 비교적 작은 오픈 소스 모델을 학습시켜 특정 데이터에서 필요한 정보를 찾는 방법을 배우도록 했다. Neon은 문서 저장 위치와 검색 기능을 제공하고, Castform은 모델이 ‘무엇을 검색할지’를 판단하도록 학습을 담당했다.
학습 과정에서 모델은 작업을 완료하려고 시도하고, 시스템은 결과를 평가한 뒤 그 점수를 후속 실험에 반영한다. 평가 기준에는 정확한 문서를 찾았는지, 적절한 단락을 인용했는지, 최종 답변이 정확한지가 포함된다.
Neon의 검증에서 Castform이 후학습한 모델의 평균 평가 점수는 1.447로, GPT-5.6 Sol의 1.369를 넘어섰으며 대조군인 GPT-5.4의 1.377보다도 높아 해당 검증에서 최고 기록을 경신했다.
비용 측면에서 후학습 모델의 1회 추론 비용은 0.000929달러(현재 환율 기준 약 0.0063위안)이고, GPT-5.6 Sol의 1회 추론 비용은 0.087338달러(현재 환율 기준 약 0.59위안)이다.