Markdown 파일 하나가 GPT-5.5를 23점 올린 방법—SkillOpt의 설계를 뜯어보면

Microsoft와 중국 3개 대학이 공개한 SkillOpt는 AI 에이전트의 'skill' 문서—절차, 툴 규칙, 출력 형식을 묶은 Markdown—를 딥러닝 가중치 훈련과 동일한 원리로 최적화한다. 타겟 모델은 동결 상태로 두고, 별도의 옵티마이저 모델이 에이전트 실행 로그에서 오류와 성공 패턴을 추출해 문서에 소량 편집을 제안한다. 각 편집은 held-out 검증 세트에서 실제로 성능이 오를 때만 채택된다. 에폭당 채택 가능한 편집 수를 제한하는 방식은 학습률 역할을 하고, 거절된 편집은 버퍼에 쌓여 이후 반성 재료로 활용된다. 에폭 끝마다 slow update로 안정적인 방향을 보존하는 구조는 gradient smoothing과 같은 원리다. 6개 벤치마크—검색, 스프레드시트, 문서 분석, 수학, 구체적 행동 태스크—에서 GPT-5.5부터 Qwen3.5-4B까지 7개 타겟 모델을 대상으로 테스트한 결과, SkillOpt는 Trace2Skill, TextGrad, GEPA, EvoSkill 및 수기 작성 skill 모두를 앞서거나 동률을 기록했다. GPT-5.5 기준 6개 벤치마크 평균은 +23점이었다. 4 에폭 훈련 전체에서 채택된 편집은 1~4개에 불과했고, OfficeQA의 최대 성능 향상은 편집 단 하나에서 나왔다. ablation 결과에서는 slow update 하나만 제거해도 SpreadsheetBench가 20점 이상 빠졌다—전체 실험 중 단일 최대 드롭이다. 이 연구에서 가장 실용적인 발견은 전이 가능성이다. Codex 환경에서 훈련한 스프레드시트 skill을 Claude Code에 그대로 올렸을 때, Claude Code에서 직접 훈련한 skill과 동등한 성능이 나왔다. 올림피아드 문제로 최적화된 수학 skill은 관련 벤치마크에서 재훈련 없이도 유효했다. 큰 모델에서 훈련한 skill이 같은 패밀리 소형 모델에서도 작동했는데, 저자들은 이를 가중치에 없는 절차적 지식을 skill 문서가 직접 공급하는 효과로 설명한다. 훈련이 끝나면 옵티마이저 모델은 파이프라인에서 사라진다. 배포 시 타겟 모델이 받는 건 300~2,000 토큰짜리 Markdown 파일 하나다. 완성된 문서가 읽기 쉽다는 점도 주목할 만하다. 스프레드시트 skill은 '워크시트 구조를 먼저 확인하고 전체 타겟 범위에 직접 평가된 값을 쓸 것, Excel 수식은 쓰지 말 것'이라 적혀 있고, ALFWorld용 skill은 '방문한 위치 로그를 유지하고 타겟 오브젝트를 집기 전에 목표 지점으로 이동하지 말 것'이다. 태스크 특정이 아니라 절차를 기술하는 규칙들이 가중치를 건드리지 않고 23점을 만들어냈다. 자동 채점이 어려운 오픈엔디드 영역에서는 검증 단계에 추가 판단이 필요하고, 단일 문서 최적화라는 구조가 도메인 편차가 클 때는 병목이 될 수 있다는 한계는 남아 있다.