Sierra는 2026년 10월 22일 음성 에이전트의 가장 기본적인 일을 재는 τ-Entity 벤치마크를 공개했다. 이름, 전화번호, 주소, 이메일 같은 정보를 정확히 듣고, 제대로 기록하고, 틀렸을지 모르면 고칠 수 있는지를 시험한다. 과제는 200개, 항목 종류는 10가지, 통화 한 번에 항목 하나만 다루고, 발신자는 협조적이라 요청하면 철자를 불러 주며, 대부분 통화가 2분 안에 끝난다. 이렇게까지 단순화한 조건에서도 오늘날 음성 에이전트는 자주 넘어진다.
배경에는 Sierra가 τ-Voice에서 반복해서 본 병목이 있다. 대화가 아무리 매끄러워도 숫자 하나를 잘못 들으면 본인 확인에서 막혀 정작 서비스는 시작조차 못 한다. 음성 모델이 일을 해내기 전에 먼저 받아쓰기부터 통과해야 하고, Mistral의 Voxtral 3이 듣기, 말하기, 일하기를 하나의 모델에 담은 지금이야말로 이 기본 신뢰성을 따로 잴 가치가 있다.
1위의 성적표도 환경이 바뀌면 무너진다
τ-Entity는 Pass³로 채점한다. 일반, 강한 소음, 강한 음성 간섭 세 조건 모두에서 성공해야 진짜 합격이다. 여섯 개 언어를 합친 순위에서 GPT Live 1이 1위인데 일반 통화 정확도는 60.3%, 세 조건 모두 통과는 34.0%에 그친다. Gemini 3.8 Live와 Grok Voice Think Fast 2.0은 일반 조건에서 43.8%와 44.2%, 전부 통과 기준으로는 19.5%와 24.0%로 떨어진다. 영어만 보면 나아져서 GPT Live 1이 일반 74.0%, 전부 통과 47.5%지만, 한국어 Pass³는 3.5%에서 8.5%, 중국어는 12.5%에서 24.5%에 머물러, 언어만 바뀌어도 격차가 벌어진다.
확인하려고 속도를 늦추면 효과가 있지만 통화당 30초 가까이 더 든다
함께 공개된 τ-Elicitation 연구는 확인 행동 자체도 쟀다. 확신이 없을 때 되읽거나 철자를 요청하는지다. 에이전트들이 알아채는 위험 신호는 일부뿐이라, 어렵고 낯선 값에서는 확인이 늘지만 소음 속에서는 Grok만 더 확인했고, 자기가 가장 못 다루는 목소리 앞에서는 어느 것도 더 신중해지지 않았다. 묻고, 철자를 부르게 하거나 되읽게 하고, 확인해 고친 뒤 제출하는 고정 절차를 주면 전부 통과율은 14%에서 41% 수준이 37%에서 54%로 올라 14에서 31%포인트 개선되지만, 통화 한 번에 21초에서 28초가 더 든다. 게다가 확인이 곧 수정은 아니어서, 처음에 틀렸고 확인까지 한 사례 중 최종적으로 바로잡힌 비율은 24%에서 37%에 불과했다.
고객 응대에 도입할 때 계산은 이렇다. 한 통화에 항목 세 개를 다루면 항목별 정확도가 75%를 유지해도 통화 전체 성공은 53%로 떨어지고, 항목마다 검증하고 재시도를 허용하면 여러 항목 성공률이 64%에서 82%로 오른다. 음성 에이전트를 투입하기 전에 물어야 할 것은 사람처럼 말하는지가 아니라, 헷갈릴 때 멈출 줄 아는지, 소음과 다른 언어에서 얼마나 떨어지는지이며, τ-Entity 같은 벤치마크가 바로 그 숙제를 업계를 대신해 시작하고 있다.
