Sierra 在 2026 年 10 月 22 日发布 τ-Entity 基准,专测语音智能体一件最基础的事:把姓名、电话、地址、邮箱这类信息听准、记对,发现可能错了还能改回来。测试共 200 个任务、10 类实体,每通电话只记一个字段,来电者还很配合,被要求时愿意逐字拼读,多数通话不到两分钟。就是在这种被刻意简化的场景里,现在的语音智能体也频繁翻车。
由来是 Sierra 在 τ-Voice 里反复看到的卡点:对话再顺,一个号码记错,身份核验就过不去,后面的服务无从谈起。语音模型能办事之前,先得过抄写这一关,而 Mistral 的 Voxtral 3 把听、说和办事装进同一套模型之后,这类基础可靠性更值得单独量。
榜首的成绩单,也经不起换环境
τ-Entity 用 Pass³ 记分:同一个任务要在常规、强噪声、强语音干扰三种条件下都成功,才算真正过关。六语种汇总榜上,GPT Live 1 排第一,常规通话能记对 60.3%,三种条件全过只剩 34.0%;Gemini 3.8 Live 和 Grok Voice Think Fast 2.0 常规条件下是 43.8% 和 44.2%,全过关掉到 19.5% 和 24.0%。只看英语会好看些,GPT Live 1 常规 74.0%、全过 47.5%,但韩语的 Pass³ 只有 3.5% 到 8.5%,普通话也只有 12.5% 到 24.5%,语言一切换,差距立刻拉开。
让它慢下来核对,有用,但要多花半分钟
Sierra 配套的 τ-Elicitation 研究还测了核对本身:智能体只认一部分危险信号,值难、值陌生时会多核对,噪声变大时只有 Grok 会加码,换成自己最不擅长的嗓音时没有一个会更谨慎。给它们一套固定核对流程,也就是问、拼读或复述、确认纠正、再提交,全过率能从 14% 到 41% 提到 37% 到 54%,涨了 14 到 31 个百分点,代价是每通电话多花 21 到 28 秒。而且核对了也不等于改对:最初记错又经过核对的案例,最后真正纠正的只有 24% 到 37%。
落到客服部署上:一通电话记三个字段时,就算单字段准确率还有 75%,整通成功也只剩 53%;逐字段校验加重试能把多字段成功率从 64% 拉到 82%。语音智能体上线前要考的不是聊得像不像人,而是记错时知不知道停下来、多语言和噪声下掉多少分,这正是 τ-Entity 这类基准开始替行业补上的功课。