Hugging Face가 Every Eval Ever(EEE)와 Community Evals를 연결한 소식은 겉으로 보면 모델 페이지에 평가 점수를 더 잘 보여주는 업데이트처럼 보인다. 하지만 실제 핵심은 조금 다르다. 평가 결과를 단순한 숫자가 아니라, 출처와 실행 조건을 가진 기록으로 다루겠다는 방향에 가깝다.
AI 모델 평가는 늘 흩어져 있었다. 논문, 블로그, leaderboard, harness log마다 결과 형식이 다르고, 같은 모델과 같은 benchmark도 실행 방식에 따라 다른 점수가 나온다. 원문은 LLaMA 65B가 MMLU에서 63.7과 48.8로 다르게 보고된 사례를 언급한다. 이런 차이는 benchmark 자체보다도 설정, metric 정의, 실행 환경이 제대로 남지 않을 때 비교가 얼마나 쉽게 흔들리는지를 보여준다.
EEE는 이 문제를 JSON schema로 다룬다. 누가 평가를 실행했는지, 어떤 모델인지, 어떻게 접근했는지, generation settings는 무엇인지, metric이 실제로 무엇을 의미하는지 기록한다. 권장 형태로 per-sample output JSONL도 붙일 수 있다. 현재 EEE datastore는 약 229,000개 평가 결과, 22,000개 이상 모델, 2,200개 benchmark, 31개 reporting format에서 모인 데이터를 담고 있다.
Hugging Face Community Evals는 이 기록을 사람들이 실제로 보는 위치로 가져온다. 모델 repo의 `.eval_results/*.yaml`에 점수를 넣으면 model card에 표시되고, benchmark dataset repo의 leaderboard에도 반영된다. 여기에 Source EvalEval badge가 붙으면 사용자는 EEE의 전체 JSON record로 이동해 세부 조건과 재현성 정보를 확인할 수 있다.
converter의 설계도 눈에 띈다. EEE record를 Hugging Face가 기대하는 YAML로 바꾸되, 바로 PR을 열지 않는다. 기존 model repo의 main branch와 open PR에 있는 `.eval_results` YAML을 먼저 읽고, 이미 있는 점수인지, 점수 충돌인지, Hub 모델이 없는지 분류한다. 이후 preview와 review file을 만들고, 사용자가 `OPEN PRS`를 입력해야 제출이 진행된다.
이 방식은 평가 생태계가 앞으로 어떤 방향으로 가야 하는지 보여준다. 더 많은 benchmark를 보여주는 것만으로는 부족하다. 모델 선택과 정책 논의, 연구 비교에 쓰일 점수라면 그 숫자가 어떤 조건에서 나왔는지, 누가 제출했는지, 원본 기록이 어디 있는지까지 함께 이동해야 한다. Hugging Face와 EEE의 통합은 그 경로를 모델 페이지, leaderboard, datastore 사이에 실제 workflow로 연결한 사례다.