Sierra は 2026 年 10 月 22 日、音声エージェントの最も基礎的な仕事を測る τ-Entity ベンチマークを公開した。氏名、電話番号、住所、メールアドレスといった情報を正確に聞き取り、正しく記録し、間違えたかもしれないときに直せるかを試すもので、課題は 200 件、対象は 10 種類の項目、1 通話で扱うのは 1 項目だけ、発信者は協力的で求められれば綴りを読み上げ、ほとんどの通話は 2 分未満で終わる。ここまで単純化した条件でも、今の音声エージェントは頻繁につまずく。
背景には、Sierra が τ-Voice で繰り返し見てきた詰まりがある。会話がどれだけ滑らかでも、番号を 1 桁聞き違えれば本人確認で止まり、本来のサービスは始まらない。音声モデルが仕事をこなす前に、まずは書き取りに合格する必要がある。Mistral の Voxtral 3 が聞く、話す、こなすを 1 つのモデルにまとめた今だからこそ、この基礎的な信頼性は独立して測る価値がある。
首位の成績でも、環境が変われば崩れる
τ-Entity の指標は Pass³ で、通常、強い雑音、強い音声干渉の 3 条件すべてで成功して初めて合格とする。6 言語合算の順位では GPT Live 1 が首位で、通常通話の正確率は 60.3%、3 条件全通過は 34.0% にとどまる。Gemini 3.8 Live と Grok Voice Think Fast 2.0 は通常条件で 43.8% と 44.2%、全通過では 19.5% と 24.0% に落ちる。英語だけなら見栄えは良く、GPT Live 1 は通常 74.0%、全通過 47.5% だが、韓国語の Pass³ は 3.5% から 8.5%、中国語も 12.5% から 24.5% で、言語が変わった途端に差が開く。
確認のために速度を落とすと効くが、1 通話 30 秒ほど余計にかかる
付随する τ-Elicitation 研究は確認行為そのものも測った。不確かなときに復唱したり綴りを求めたりするかだ。エージェントが認識できる危険信号は一部だけで、難しい値や馴染みのない値では確認が増えるが、雑音下で増やしたのは Grok だけで、最も苦手な声に対して慎重になったものはなかった。聞く、綴らせるか復唱させる、確認して直す、提出する、という固定手順を与えると、全通過率は 14% から 41% の水準が 37% から 54% へ上がり、14 から 31 ポイントの改善になる一方、1 通話あたり 21 秒から 28 秒長くなる。しかも確認は訂正と同義ではなく、最初に間違えて確認もした事例のうち、最終的に直せたのは 24% から 37% だけだった。
顧客対応への導入で効いてくる計算はこうだ。1 通話で 3 項目を扱うと、項目単位の正確率が 75% あっても通話全体の成功は 53% に落ち、各項目の検証と再試行を入れると複数項目の成功率は 64% から 82% に上がる。音声エージェントの導入前に問うべきは、人間らしく話せるかではなく、迷ったときに止まれるか、雑音と言語の切り替えでどれだけ落ちるかであり、τ-Entity のようなベンチマークはまさにその宿題を業界の代わりに始めたところだ。
