음성 AI의 익숙한 사용법은 아직도 버튼에 가깝다. 말을 하고, 녹음이 끝나고, 모델이 답한다. Audio Interaction이 흥미로운 이유는 이 순서를 흔든다는 데 있다. 이 모델은 오디오 스트림을 계속 듣고, 0.4초 단위로 잘라, 매 순간 조용히 있을지 응답할지 판단한다.
핵심 장치는 단순하지만 강하다. 각 오디오 조각 뒤에 모델은 <silent> 또는 <response>를 출력한다. <silent>를 고르면 계속 듣고, <response>를 고르면 말을 시작한다. 대화, 번역, 전사, 소리 인식이 별도 파이프라인으로 흩어지지 않고 하나의 3B 모델 안에서 이어지는 구조다. 기침이나 유리 깨지는 소리 같은 생활 소음도 무조건 배경으로 버리지 않는다.
이 연구가 보여주는 현실적인 포인트는 지연시간이다. 연구진은 입력 오디오 처리와 응답 생성을 분리하고 큐로 연결했다. 그 결과 첫 응답까지 걸리는 시간이 392ms 수준으로 줄었다. 같은 분리가 없으면 831ms까지 늘었고, 5.2%는 stuck 상태가 됐다. 음성 AI의 자연스러움은 모델이 똑똑한지만이 아니라, 듣기와 말하기가 서로를 막지 않도록 설계됐는지에 달려 있다.
데이터셋도 중요한 축이다. StreamAudio-2M은 약 302,000시간, 260만 단위의 장면형 오디오로 구성됐다. 짧은 음성 클립을 많이 모은 방식이 아니라, 아침 주방 같은 설정 안에 여러 사건을 배치해 긴 흐름과 드문 반응 신호를 만들었다. 모델이 아무 소리에나 끼어드는 문제를 줄이기 위해 검증된 침묵과 반응하지 않아야 할 배경음도 학습에 넣었다.
물론 상시 청취 모델은 곧바로 편리함만 뜻하지 않는다. 프라이버시, 오탐, 불필요한 개입은 제품화 단계에서 가장 민감한 문제가 된다. 0.2초 chunk는 문맥이 부족했고, 0.8초 chunk는 지연이 커졌다는 결과도 이 균형이 얼마나 좁은지 보여준다.
그래도 방향은 분명하다. 음성 모델은 이제 사용자의 말이 끝나기만 기다리는 도구에서, 흐르는 소리 안에서 개입 타이밍을 고르는 시스템으로 이동하고 있다. Audio Interaction의 코드와 가중치 다운로드 안내가 Apache 2.0 라이선스로 공개된 만큼, 회의 앱, 브라우저 기반 음성 도구, 웨어러블, 스마트홈 같은 영역에서 빠르게 실험될 가능성이 있다.