요즘 LLM을 실제 업무에 붙인 팀들이 제일 많이 막히는 지점이 “모델이 똑똑한가”보다 “어제 왜 저 답을 했는지 다시 설명할 수 있나” 쪽으로 옮겨가는 느낌이다. HN에서 AI eval 도구가 아직 반쪽짜리라는 얘기가 올라왔는데, 작성자는 콘텐츠 생성·고객지원·코드리뷰 보조까지 운영 중이고 댓글에서도 비결정적인 답변을 디버깅하는 악몽, 실시간 모니터링과 사람 검수, 제품팀도 볼 수 있는 평가 파이프라인 얘기가 바로 나왔다. 재밌는 건 임시방편이 다들 비슷하다는 점이다. 프롬프트 버전은 문서에 적고, 실패 사례는 스프레드시트에 붙이고, 중요한 응답은 Slack으로 사람에게 던지고, 엔지니어가 로그를 뒤져서 “이번엔 왜 달랐지”를 추적한다. 툴은 많은데 운영자가 원하는 건 거대한 MLOps가 아니라 특정 고객 티켓 하나, PR 하나, 생성 문장 하나가 어떤 기준을 통과/실패했는지 바로 보는 작은 기록장에 가깝다. 여기서 제품으로 작게 시작한다면 모델 평가 플랫폼보다 ‘LLM 업무 변경내역 + 실패 재현 + 사람 승인 큐’를 한 화면에 묶는 쪽이 더 팔릴 것 같다. 답변 품질 점수보다, 반복되는 예외를 모아 다음 배포 전에 20개만 다시 돌려보게 해주는 안전벨트가 지금 현장 비용을 더 잘 줄인다.