WorkForge 운영 중

WorkForge는 텐센트 훈위안과 푸단대학교가 공동으로 출시한 에이전트 훈련 환경 구축 프레임워크입니다. WorkForge는 전문가 워크플로 청사진을 바탕으로 실제 세계의 리소스를 자동 검색해 작업 공간을 구축하고, 작업 공간의 사실에 기반해 임무와 이중 검증 기준을 생성하여 에이전트가 실행 결과 궤적 데이터를 생성하도록 합니다. WorkForge는 이미 16.7K개의 검증 가능한 환경을 구축했으며, 40개 전문 분야를 아우릅니다. 또한 35B 모델의 GDPval 점수를 28점 높여 최첨단 모델 수준에 근접하게 할 수 있습니다.

시나리오 청사진 구축: 전문가의 경험을 재사용 가능한 워크플로 템플릿으로 축적하고, 산출물, 필요한 리소스 및 핵심 의사결정 지점을 정의합니다.
실제 작업 공간 합성: 수집 에이전트가 웹 검색을 통해 실제 코드 저장소, 데이터 세트 및 웹 자료를 다운로드하고 원래 디렉터리 구조에 따라 작업 공간을 구축합니다.
환경 프로파일링 및 사실 앵커 추출: 각 파일의 역할과 종속 관계를 자동으로 파악하고 직접 대조할 수 있는 ”사실 근거”를 기록합니다.
임무 생성: 청사진과 프로파일을 결합해 작업 공간의 실제 내용에 기반한 임무 지시와 숨겨진 참조 해법을 생성합니다.
이중 검증 메커니즘: 프로그램 검사가 수치와 파일 생성을 확인하고, LLM 심사자가 채점 기준에 따라 의미적 품질을 평가합니다.
궤적 수집 및 채점: 에이전트가 작업 공간과 임무 설명만 볼 수 있는 조건에서 자율적으로 실행하며, 전체 과정과 점수를 함께 저장해 훈련 데이터로 활용합니다.
대규모 환경 생성: 한 번의 실행으로 16.7K개의 검증 가능한 작업 환경을 생성하고, 40개 전문 분야와 60가지 파일 형식을 포괄합니다.
에이전트 후훈련: 생성된 장기 궤적으로 모델을 미세 조정해 업무 임무 실행 능력을 크게 향상합니다.

사실 앵커 기반의 임무-검증 공생 설계: WorkForge의 핵심 전제는 임무를 제시할 수 있는지와 결과를 검증할 수 있는지가 모두 작업 공간에서 관찰 가능한 사실에 달려 있다는 것입니다. 먼저 작업 공간을 종합적으로 프로파일링(Profiling)하여 파일 역할, 파일 간 종속 관계 및 구체적으로 대조 가능한 사실 기록을 추출합니다. 임무 지시, 참조 해법, 프로그램 검사 항목 및 의미적 채점 기준은 모두 이러한 사실 앵커에서 도출되며, 참조 해법의 핵심 사실은 다시 작업 공간에서 검증합니다.
2. 실제 리소스 기반 환경 복잡도 구축: LLM이 작업 공간을 합성하는 방식과 달리 WorkForge는 수집 에이전트가 검색—읽기—다운로드—미리 보기 순환을 반복 실행하도록 하여 실제 저장소와 데이터 세트에서 리소스를 수집하고 원래 디렉터리 구조를 유지합니다. 대조 실험에 따르면 실제 작업 공간의 파일 수는 합성 환경의 5.4배, 파일 형식 수는 2.4배이며, 증거는 소수의 파일에 집중되지 않고 전체 디렉터리 트리에 분산되어 있습니다. 이로 인해 에이전트는 먼저 탐색한 뒤 판단해야 하며, 실제적인 작업 마찰과 장기 상호작용 요구가 발생합니다.
프로그램 및 의미 기반 이중 검증: 검증 모듈은 상호 보완적인 두 부분으로 구성됩니다. 프로그램 검증기는 수치의 정확성, 대상 파일 생성 여부, 작업 공간 상태의 예상 부합 여부 등 결정론적 요구 사항을 확인하고 지시 함수에 따라 점수를 계산합니다. 의미 검증기는 임무 지시에 따라 구성된 LLM 심사자로, 개방형 산출물을 채점 기준에 따라 항목별로 평가하고 정규화합니다. 두 종류의 점수는 별도로 보존됩니다. 실험 결과, 두 검증을 결합한 혼합 선별(ALE 22.11)은 어느 하나의 신호만 사용하는 방식(15.62 / 14.89)보다 크게 우수했습니다. 두 검증 방식이 산출물 품질의 서로 다른 측면을 포착하기 때문입니다.

WorkForge는 현재 연구 프레임워크이며, 논문에서는 오픈 소스 코드나 데이터 세트의 공개 경로를 언급하지 않았습니다.

높은 현실성: 실제 세계의 리소스에서 직접 작업 공간을 구축하므로 파일 수, 파일 형식 수 및 용량이 각각 LLM 합성 환경의 5.4배, 2.4배 및 13배입니다. 증거도 한곳에 집중되지 않고 디렉터리 트리 전체에 분산되어 있습니다.
검증 추적 가능성: 임무, 참조 해법 및 채점 기준이 모두 작업 공간의 ”사실 앵커”에서 도출되고, 핵심 사실은 작업 공간에서 다시 검증되므로 환각에 기반한 평가 요구를 방지합니다.
상호 보완적인 이중 검증: 프로그램 검사(수치/파일)와 LLM 의미 평가를 결합하여 어느 하나의 신호만 사용하는 방식보다 훨씬 우수한 혼합 선별 성능을 제공합니다.
장기 상호작용 훈련: 평균 31.8단계, 7.6만 tokens에 달하는 실제 탐색 궤적을 통해 모델이 탐색, 증거 수집, 오류 수정 및 산출물 제출의 전체 업무 과정을 학습합니다.
대규모 확장성: 하나의 파이프라인으로 16.7K개의 환경을 생성하고 40개 분야를 포괄하여, 환경을 수작업으로 구축하는 데 드는 엔지니어링 비용을 크게 줄입니다.
뛰어난 성능 향상: A3B 모델의 GDPval 점수가 28.1점 상승하여 모든 <100B 전용 에이전트 모델을 전면적으로 앞섰으며, 27B 모델은 파라미터 수가 15배인 397B 모델을 역전했습니다.

arXiv 기술 논문：https://arxiv.org/pdf/2610.04906

에이전트 훈련 데이터 생성: 기업 및 연구 기관을 위해 고품질 장기 궤적 데이터를 대규모로 생성하고, 자체 업무 에이전트의 후훈련에 활용하여 환경을 수작업으로 제작하는 비용 병목을 해소합니다.
업무 디지털 직원 양성: 사무, 데이터 분석, 금융, 교육 등 40개 전문 분야를 대상으로 보고서, 표, PPT와 같은 실제 산출물을 제공할 수 있는 ”디지털 직원”을 훈련합니다.
에이전트 역량 평가: 사실 앵커 기반의 이중 검증 메커니즘을 평가 패러다임으로 활용하여, 복잡한 파일 환경에서 에이전트의 탐색, 증거 수집 및 산출물 제출 능력을 검증할 수 있습니다.
분야별 워크플로 디지털화: 기업이 내부 전문가의 경험을 시나리오 청사진으로 정리하면 유사한 임무의 다양한 인스턴스를 신속하게 대량 생성하여 교육이나 평가에 활용할 수 있습니다.
전문 분야 Agent 연구·개발 기반: 금융 퀀트, 코드 검토, 규정 준수 점검 등 여러 출처의 파일을 교차 확인해야 하는 전문 시나리오에서 환경 인프라로 활용하여 상위 Agent 제품의 역량을 지속적으로 개선할 수 있습니다.