ElevenLabs는 2026년 10월 20일 음성-대-음성 모델군 Eleven Realtime을 공개하며, 음성 에이전트가 오랫동안 써 온 낡은 구조를 바꾸겠다고 나섰다. 기존 방식은 음성 인식, 거대 언어 모델, 음성 합성을 세 단계로 이어 붙여 이음매마다 지연과 오류가 쌓였다. Eleven Realtime은 단일 네이티브 음성 모델이 직접 듣고 직접 답한다. 모델은 두 가지다. 단순한 대화에 맞춰 지연을 최저로 낮춘 Eleven Realtime v1 Mini와, 복잡한 작업에서 추론과 정확도를 앞세운 Eleven Realtime v1 Max다. 둘 다 최대 90개 언어를 지원하고 ElevenLabs 음성 라이브러리의 1만 7000개 목소리를 쓸 수 있으며, 멈춤, 끼어들기, 차례 주고받기 같은 사람다운 대화 흐름에 맞춰 훈련됐다.
두 모델의 분업이 이름보다 중요하다
Mini의 몫은 양이 많고 단순한 자연 대화다. 질의응답, 예약, 상태 확인처럼 깊이 생각할 필요가 없는 장면에서, 대화 자연스러움은 Max보다 오히려 조금 높다. Max는 머리를 써야 하는 일, 즉 고객 상담, 에이전트 워크플로, 다단계 추론, 대화 중 도구 호출을 맡는다. 두 모델을 나눠 파는 것 자체가 신호다. 음성 에이전트 시장은 '한 모델로 다 되는' 단계를 지났고, 지연에 민감한 일과 추론에 민감한 일은 서로 다른 사업이 됐다.
ElevenLabs가 실제 현장으로 파고든 사례로는 ElevenLabs 음성 복제가 영국 상원에 등장한 일이 합성 품질을 보여줬다. 이번 Realtime이 메우는 것은 반대쪽 약점이다. 목소리가 아무리 비슷해도 답이 늦거나 틀리면 전화 상대는 바로 끊는다.
벤치마크 읽는 법: 이번에는 속도와 정확도가 함께 왔다
ElevenLabs가 인용한 Artificial Analysis의 Big Bench Audio 음성 추론 평가에서 Max는 98.8%로 Grok Voice 3.0의 98.5%, Gemini 3.8 Live Extended Thinking의 97.7%를 근소하게 앞섰고, Mini는 75.9%였다. 응답 시작 시간은 Max 약 470밀리초, Mini 약 500밀리초로, Grok Voice 3.0의 810밀리초, GPT-Realtime-2(High)의 1.14초와 차이가 또렷하다. 도구 호출 성공률은 Max 87.1% 대 Mini 60.3%로 갈렸고, 대화 흐름 점수는 Mini 95.8%, Max 94.1%로 OpenAI의 GPT-Realtime 2.1과 비슷한 수준이었다. 사용자가 블라인드로 비교하는 Speech Agent Arena에서는 Max 998점, Mini 988점을 기록했다.
다만 이 수치는 업체가 공개한 모델 자체 측정값으로, 전화망, 혼잡 시 대기, 업무 시스템 왕복은 빠져 있다. 실제 서비스의 체감 지연은 순위표보다 커지기 쉬우니, 선정은 점수 복사로 끝나서는 안 된다.
선택의 기준은 도구 호출 27점 차이다
빈도가 높고 짧으며 답이 정해진 음성 입구라면 Mini의 선택이 옳다. 비용은 단순 대화에 머물고 자연스러움은 손해 보지 않으며, 반초 수준 응답이면 통화가 식지 않는다. 반대로 대화 중 주문을 조회하고 예약을 바꾸며 여러 단계를 처리해야 한다면, 87.1% 대 60.3%의 도구 호출 차이가 결정적이다. 이런 작업에서 한 번의 오작동은 30밀리초 차이보다 훨씬 비싸다.
음성 상담과 전화 에이전트를 만드는 팀에게 진짜 변화는 구조에 있다. 네이티브 음성-대-음성 덕분에 감정, 어조, 끼어들기 처리가 텍스트 중계에서 뭉개지지 않고, 디버깅 대상도 파이프라인 세 개에서 모델 하나로 좁혀진다. 검증 방법은 단순하다. 실제 문의 중 가장 흔한 질문 50개로 블라인드 테스트를 하고, 첫 응답 지연의 상위 백분위와 도구 호출 성공률을 재서 순위표 수치를 할인해 적용하는 것이다. 벤치마크는 후보 목록까지만, 계약은 자체 측정으로 정해야 한다.
