AI의 ‘취향’을 측정하는 Design Arena, 530만 명의 선택이 모델 평가 데이터가 되다

AI가 기능을 수행하는 것과 사람이 좋은 결과라고 느끼는 것은 다르다. Design Arena는 이 간극에서 출발했다. Intelligence 공동창업자 Grace Li에 따르면 팀은 2025년 졸업을 앞두고 AI 게임 엔진을 만들고 있었다. 게임은 작동했지만 재미있지 않았다. 어떤 결과가 실제로 사람의 마음을 움직이는지 알려면 자동 점수만으로는 부족했고, 결국 사람의 판단을 대규모로 모으는 방법을 설계하게 됐다. Design Arena의 일반 사용자 경험은 모델 라우터에 가깝다. 사용자는 ChatGPT와 비슷한 창에 프롬프트를 넣고 웹사이트, 이미지 등 원하는 시각적 형식과 스타일을 고른다. 그러면 여러 출력물이 제시되고, 사용자는 ‘A 대 B’ 비교를 반복하며 더 나은 결과를 골라 순위를 만든다. 사용자는 어떤 모델이 이겼는지보다 자신이 쓸 수 있는 결과를 원한다. 이 점이 모델 이름이나 기업 브랜드보다 실제 선호에 가까운 평가 신호를 만들 수 있다. 이용자는 전 세계 530만 명으로 소개됐다. 기업 측은 Design Arena가 프런티어 랩의 미디어 생성 모델에 지속적인 사용자 피드백을 제공하고 있으며, 현재 연간반복매출이 6,000만 달러라고 밝혔다. 로그인 기반 서비스라 이용자의 선택을 대륙별, 시간에 따라 비교할 수도 있다. Grace Li는 아시아의 웹 대시보드가 더 맥시멀리스트한 디자인 경향을 보인다고 설명했다. 취향은 하나의 평균값이 아니라 지역과 시점에 따라 달라지는 데이터가 된다. 이 방식이 자동 벤치마크를 대체한다는 뜻은 아니다. 자동 평가는 더 큰 규모와 빠른 측정에 유리하지만, 실제 사용자가 원하는 감각을 놓칠 수 있고 조작 대상이 될 수도 있다. 반대로 사람의 평가는 비용과 운영 부담이 따른다. 최근 Hugging Face 침해 사례가 자동화된 평가의 취약성을 보여줬다는 점도 기사에서 함께 언급됐다. 시장 성적표는 엇갈린다. 비슷한 사람 평가 서비스를 운영한 Yupp은 3,300만 달러를 조달하고 130만 명 이상의 사용자를 확보했다고 했지만 올해 문을 닫았다. 텍스트 응답을 평가하는 LM Arena는 유료 제품을 공식 출시한 지 넉 달 만에 1억5,000만 달러 시리즈 A를 유치했다. 같은 ‘human evaluation’이라도 데이터가 고객의 제품 개선과 반복 매출로 연결되는 방식은 크게 다를 수 있다. Intelligence가 조달한 시드 투자금은 790만 달러이며 Index Ventures가 주도했고 Conviction, A*, Valkyrie 등이 참여했다. Design Arena가 보여주는 방향은 분명하다. AI 품질을 모델의 내부 지표만으로 판단하지 않고, 사람이 실제로 무엇을 선택했는지까지 제품 개발의 입력값으로 삼는 것이다. 앞으로 확인할 지점은 사용자 수 자체가 아니다. 530만 명의 선택이 특정 지역과 순간의 취향을 넘어, 여러 고객이 계속 비용을 지불할 만큼 유용한 개선 신호가 되는지다.