법률 업무를 돕는 AI 에이전트가 실제로 쓸 만한지 판단하려면, 답변 한두 개를 읽고 감탄하는 방식으로는 부족합니다. 긴 문서 묶음을 받고 지시된 일을 빠뜨리지 않았는지, 결과가 정해진 기준을 통과하는지, 다른 모델과 같은 조건에서 비교할 수 있는지를 확인해야 합니다. harveyai/harvey-labs는 이 문제를 Legal Agent Benchmark(LAB)라는 오픈소스 프로젝트로 다룹니다.
LAB의 구조는 두 부분으로 나뉩니다. 하나는 에이전트 지시문과 문서, 루브릭을 담은 태스크 데이터셋입니다. 다른 하나는 해당 태스크에 에이전트를 실행하고 결과를 평가하는 하네스입니다. 저장소 설명에 따르면 24개 이상의 법률 실무 영역과 계약 업무를 다루며, 태스크는 1,671개입니다. 법률 에이전트의 능력을 특정 데모가 아니라 여러 업무 단위에서 살펴보려는 구성입니다.
docs/tutorial.md가 안내하는 예제는 M&A 데이터룸 과제입니다. 사용자는 환경을 설정하고, 태스크를 확인하고, 에이전트를 실행한 다음 점수와 리포트를 검토합니다. 마지막에는 비교 대시보드까지 이어집니다. 이 흐름은 벤치마크를 한 번 실행해 숫자 하나를 얻는 데서 끝내지 않고, 어떤 작업을 어떻게 수행했는지 되짚는 데 초점을 둡니다.
평가 방식도 중요한 부분입니다. docs/eval-strategies.md는 all-pass 루브릭 점수와 LLM judge의 동작을 별도로 설명합니다. 법률 문서 작업에서는 문장이 자연스러운지만으로 충분하지 않습니다. 요청된 조건을 하나라도 놓치면 결과 전체의 실무 가치가 흔들릴 수 있습니다. 그래서 결과의 품질을 항목별 기준과 실행 기록으로 확인하는 설계가 필요합니다.
이 관점에서 LAB는 플러그인 카탈로그보다 실행 모델을 먼저 보게 합니다. Architecture 문서는 task model, harness, tools, adapters, reports, sweeps를 다루고, CONTRIBUTING 문서는 태스크와 모델 어댑터, 평가 개선, 문서에 기여하는 경로를 열어둡니다. 모델을 바꿔가며 같은 작업을 돌리고, 루브릭을 개선하고, 결과를 비교하는 기반을 만들려는 셈입니다.
다만 범위는 분명히 구분해야 합니다. LAB는 완성된 법률 자동화 제품이 아니라 태스크 세트와 실행 하네스를 계속 추가하고 다듬는 프로젝트입니다. 따라서 벤치마크 결과를 법률 업무 전체의 자동화 증명으로 읽기보다, 정의된 태스크와 평가 기준 안에서 에이전트가 어떤 수행 결과를 냈는지 보여주는 자료로 보는 편이 정확합니다.
그래도 이 저장소가 던지는 질문은 실용적입니다. 어떤 모델이 더 화려한 답을 쓰는가보다, 실제 문서와 업무 지시를 받았을 때 누락 없이 처리하고 그 과정을 반복해서 검증할 수 있는가. 법률 AI를 도입하려는 팀이라면 플러그인을 더 붙이기 전에, 먼저 실행할 업무와 통과 기준부터 설계해야 합니다.