HumeAI가 Hugging Face 블로그를 통해 공개한 Real World VoiceEQ는 음성 AI 평가가 어디로 이동하고 있는지를 잘 보여준다. 지금까지 음성 모델의 성능은 주로 단어 오류율, 지연 시간, 합성 음성의 자연스러움 같은 지표로 설명되어 왔다. 하지만 실제 대화에서는 텍스트로 옮겨지는 말보다 더 많은 정보가 오간다. 망설임, 억양, 감정, 말의 속도, 배경 소음, 화자의 일관성 같은 요소가 사용자의 경험을 크게 바꾼다.
Real World VoiceEQ는 이 영역을 측정하기 위해 만들어진 벤치마크다. ASR, TTS, Speech-to-Speech, Speech Understanding을 포함해 40개가 넘는 proprietary 및 open-source voice model을 평가하고, 15개 이상 평가 차원과 60개 이상 metric을 사용한다. 특히 100만 건 이상의 인간 평가를 기반으로 했다는 점이 중요하다. 현재 공개된 벤치마크에는 TTS rating 78만5천 건과 STS rating 4만8천 건이 포함되어 있다.
가장 흥미로운 발견은 단일한 ‘최고의 음성 모델’이 존재하지 않는다는 점이다. 어떤 모델은 예약번호, 은행 계좌, 복잡한 의약품 이름처럼 정확한 발화가 필요한 작업에 강하지만 감정 표현은 약할 수 있다. 반대로 매우 자연스럽게 들리는 모델이 정밀한 정보 전달에서는 흔들릴 수 있다. 실제 TTS 평가에서도 8개 capability group 전체에서 모두 top 5에 든 시스템 구성은 없었다.
Speech-to-Speech 모델의 경우 긴장은 더 크다. 모델이 오디오 입력을 받는다고 해서 반드시 톤, 속도, 머뭇거림, 강조, 볼륨 같은 신호를 활용하는 것은 아니었다. 일부 시스템은 여전히 transcript 중심으로 움직였다. “Yes”와 “…yes…”는 텍스트로는 같지만, 사기 거래 확인이나 의료 상담 같은 상황에서는 전혀 다른 의미를 가질 수 있다.
VoiceEQ가 던지는 메시지는 음성 AI 제품을 만드는 팀에게 꽤 실용적이다. 이제 음성 인터페이스의 품질은 빠른 응답과 낮은 오류율만으로 설명되지 않는다. 고객센터, 헬스케어, 교육, 개인 비서 영역에서 중요한 것은 모델이 실제 환경의 복잡성을 얼마나 견디는지, 그리고 말 속에 숨어 있는 사회적·감정적 신호를 얼마나 놓치지 않는지다. 앞으로의 경쟁은 더 자연스러운 목소리를 넘어, 더 정확히 듣고 더 알맞게 반응하는 시스템으로 옮겨갈 가능성이 크다.