WikiSkill 운영 중

WikiSkill은 Google Research가 개발한 Agent 스킬 진화 프레임워크입니다. 이 프레임워크는 원시 궤적을 저장하는 Raw Layer, 구조화된 지식을 지속적으로 축적하는 Wiki Layer, 실행 가능한 스킬을 저장하는 Skills Layer의 3계층 아키텍처를 통해 Agent의 경험을 지속적인 지식으로 축적하고, 여기서 재사용 가능한 스킬을 발전시킵니다. 각 반복 과정에서 Wiki Maintainer가 궤적을 분석해 지식 베이스를 업데이트하고, Skill Proposer가 지식을 바탕으로 스킬 업데이트를 제안하며, 검증 후 이를 수락하거나 롤백합니다. 실험 결과, WikiSkill을 적용한 9B 모델이 WikiSkill을 사용하지 않은 27B 모델을 능가할 수 있으며, 스킬은 모델 간에도 이전할 수 있는 것으로 나타났습니다.

3계층 지식 분리: 원시 궤적, 구조화된 지식, 실행 가능한 스킬을 세 계층으로 나누어 저장하고 각각의 역할을 수행합니다.
스킬의 자율적 진화: 반복 루프를 통해 Agent의 스킬이 경험에서 지속적으로 발전하고 최적화됩니다.
지속적인 지식 축적: Wiki Layer는 반복 과정 전반에 걸쳐 지식을 축적하며, 거부된 스킬로 인해 이미 축적된 지식이 손실되지 않습니다.
모델 간 이전: 진화한 스킬을 서로 다른 모델은 물론 서로 다른 모델 제품군에서도 재사용할 수 있습니다.
검증 게이트 필터링: 후보 스킬을 검증 세트로 평가하고, 성능을 향상시키는 업데이트만 수락합니다.

3계층 아키텍처: Raw Layer는 변경할 수 없는 실행 궤적을 영구 저장하여 사실의 근거로 사용합니다. Wiki Layer는 궤적을 구조화된 패턴과 진화 로그로 변환해 지속적으로 축적하며 롤백하지 않습니다. Skills Layer는 현재 적용 중인 실행 가능한 스킬을 저장하고 조건부 업데이트와 롤백을 지원하며, PURPOSE.md를 통해 스킬의 출처를 추적합니다.
4단계 진화 루프: Inference Agent가 현재 스킬을 사용해 학습 세트에서 실행하고 궤적을 생성합니다. Wiki Maintainer는 궤적을 샘플링해 근본 원인을 분석하고 Wiki의 패턴 목록과 로그를 업데이트합니다. Skill Proposer는 ReAct 방식으로 Wiki와 궤적을 읽고 한 번에 하나의 스킬 생성 또는 패치를 제안합니다. Gating 메커니즘은 검증 세트에서 후보 스킬을 평가하며, 점수가 향상되면 수락하고 그렇지 않으면 스킬을 롤백합니다(Wiki에는 영향을 주지 않음).
지식 영속화 설계: Wiki Layer는 skill-impact.md에 각 제안의 diff, 검증 점수, 수락/거부 결과를 기록해 객관적인 감사 추적을 형성합니다. 이를 통해 후속 Proposer가 실패한 방안을 반복하지 않고 반복 과정 전반에서 지식의 복리 효과를 실현할 수 있습니다.
스킬 발견과 실행의 분리: 실험 결과, 스킬 발견(경험에서 전략을 추출하는 능력)과 스킬 실행(추론 시 전략을 적용하는 능력)은 서로 다른 능력입니다. WikiSkill로 진화한 스킬은 모델 간에 이전할 수 있으며, 다른 모델이 진화시킨 스킬이 모델 자체가 진화시킨 스킬보다 우수한 경우도 있습니다.

작업 공간 초기화: raw/, wiki/, skills/의 세 계층 디렉터리를 만들고 빈 스킬 세트에서 시작합니다.
학습 rollout 실행: Inference Agent가 현재 스킬을 사용해 학습 세트에서 실행하고, 생성된 실행 궤적을 raw/에 기록합니다.
지식 베이스 업데이트: Wiki Maintainer가 성공/실패 궤적을 샘플링해 근본 원인을 분석하고, wiki/patterns/에 패턴 파일을 생성하거나 업데이트한 뒤 logs.md와 skill-impact.md에 내용을 추가합니다.
스킬 업데이트 제안: Skill Proposer가 Wiki 색인, 과거 영향 기록, 원시 궤적을 읽고 ReAct 방식으로 한 번에 하나의 스킬 생성 또는 패치를 제안합니다.
검증 및 게이팅: 후보 스킬을 검증 세트에서 평가하고, 점수가 향상되면 새로운 skills/로 수락합니다.
반복 실행: 검증 성능이 수렴하거나 사전 설정된 반복 횟수에 도달할 때까지 위 단계를 반복하여, 추론에 사용할 최종 진화 스킬 세트를 얻습니다.

지속적인 지식 복리: Wiki Layer가 반복 과정 전반에 걸쳐 지식을 축적하므로 스킬이 거부되어도 지식이 손실되지 않으며, 이후 업데이트에서 모든 과거의 통찰을 재사용할 수 있습니다.
지식과 스킬의 분리: “무엇을 아는가”와 “어떻게 하는가”를 분리하여 스킬은 롤백할 수 있고 지식은 영구적으로 보존되므로, 스킬 패치와 함께 경험이 손실되는 것을 방지합니다.
소형 모델의 대형 모델 추월: WikiSkill을 적용한 Qwen-3.5-9B가 WikiSkill을 사용하지 않은 Qwen-3.6-27B를 능가할 수 있어 지식으로 규모의 격차를 보완합니다.
모델 간 이전 및 재사용: 진화한 스킬을 모델 제품군 간에 이전할 수 있으며, 다른 모델이 발견한 전략이 모델 자체가 진화시킨 스킬보다 우수한 경우도 있습니다.
실패의 반복 방지: skill-impact.md에 제안 이력과 거부 사유를 빠짐없이 기록하므로 Proposer가 이미 실패한 방안을 반복하지 않습니다.

arXiv 기술 논문: https://arxiv.org/pdf/2608.27454

스마트 업무 자동화: 복잡한 Excel 수식 계산, 데이터 정제, 여러 표 간의 연계를 처리하며, Agent가 진화를 통해 “먼저 recalculate한 다음 읽기”와 같은 스프레드시트 전용 워크플로를 습득합니다.
장문서 지능형 질의응답: 수백 페이지 분량의 PDF/Word 문서에서 다단계 검색과 탐색을 수행하며, 진화한 검색 스킬이 Agent가 핵심 문단을 효율적으로 찾도록 안내해 긴 컨텍스트에서 길을 잃는 문제를 방지합니다.
수학 추론 및 문제 해결: 경시 수준 수학 문제의 풀이 경험을 재사용 가능한 전략으로 축적해 문제 해결 정확도를 지속적으로 향상시킵니다.
웹 정보 검색: 다단계 검색 프로세스를 최적화하고 “키워드 확장 → 다중 소스 교차 검증 → 정보 통합”이라는 표준 운영 절차를 발전시켜 복잡한 질의의 재현율과 정확도를 높입니다.
대화형 체화任务: 가상 환경에서 여러 단계의 물리적 작업을 수행하고, “반복 동작 루프 방지”, “작업 완료 상태 확인” 등의 패턴을 축적해 작업 성공률을 높입니다.