Sierra hat am 22. Oktober 2026 den Benchmark τ-Entity veröffentlicht, der Sprachagenten bei ihrer grundlegendsten Aufgabe prüft: einen Namen, eine Telefonnummer, eine Adresse oder eine E-Mail richtig zu hören, korrekt zu notieren und einen möglichen Fehler auch zu korrigieren. Die Suite umfasst 200 Aufgaben zu zehn Feldtypen, jeder Anruf erfasst nur ein einziges Feld, der Anrufer ist kooperativ und buchstabiert auf Wunsch, und die meisten Anrufe dauern unter zwei Minuten. Selbst in diesem bewusst vereinfachten Setting scheitern heutige Sprachagenten häufig.
Auslöser war ein Engpass, den Sierra in τ-Voice immer wieder sah: Ein Gespräch kann noch so flüssig laufen, eine falsche Ziffer lässt die Authentifizierung scheitern, und die eigentliche Leistung beginnt nie. Bevor ein Sprachmodell Arbeit erledigen kann, muss es das Diktat bestehen, und seit Mistrals Voxtral 3 Hören, Sprechen und Aufgabenarbeit in einem Modell bündelt, verdient diese grundlegende Zuverlässigkeit eine eigene Messung.
Auch die Bestleistung bröckelt, sobald sich die Bedingungen ändern
τ-Entity wertet mit Pass³: Eine Aufgabe zählt nur, wenn der Agent unter normalen, lärmstarken und sprachstarken Bedingungen gleichermaßen besteht. In der Rangliste über sechs Sprachen führt GPT Live 1, mit korrekten Werten in 60,3 % der normalen Anrufe, aber nur 34,0 % der Aufgaben unter allen drei Bedingungen. Gemini 3.8 Live und Grok Voice Think Fast 2.0 erreichen normal 43,8 % und 44,2 % und fallen über alle Bedingungen auf 19,5 % und 24,0 %. Englisch allein sieht besser aus, GPT Live 1 liegt bei 74,0 % normal und 47,5 % über alle Bedingungen, doch Koreanisch fällt bei Pass³ auf 3,5 bis 8,5 % und Mandarin auf 12,5 bis 24,5 %; sobald die Sprache wechselt, öffnet sich die Schere.
Langsamer machen und prüfen hilft, kostet aber rund eine halbe Minute pro Anruf
Die begleitende τ-Elicitation-Studie von Sierra maß auch das Prüfen selbst: ob Agenten bei Unsicherheit zurücklesen oder buchstabieren lassen. Sie erkennen nur einige Warnsignale, prüfen schwierige und ungewohnte Werte sorgfältiger, doch nur Grok prüfte bei Lärm mehr, und keiner strengte sich bei der Stimme mehr an, mit der er am schlechtesten zurechtkam. Eine vorgeschriebene Reihenfolge, fragen, buchstabieren oder zurücklesen lassen, bestätigen und korrigieren, dann übermitteln, hebt den Erfolg über alle Bedingungen von 14 bis 41 % auf 37 bis 54 %, ein Plus von 14 bis 31 Prozentpunkten, zum Preis von 21 bis 28 zusätzlichen Sekunden pro Anruf. Und Prüfen ist nicht Korrigieren: Von den anfangs falschen und dann geprüften Erfassungen wurden am Ende nur 24 bis 37 % richtiggestellt.
Für den Kundenservice ist die Rechnung nüchtern: Bei einem Anruf mit drei Feldern gelingen selbst bei 75 % Genauigkeit pro Feld nur 53 % der Anrufe vollständig, während feldweise Validierung mit Wiederholungen den Mehrfelderfolg von 64 % auf 82 % hob. Vor dem Start eines Sprachagenten sollte nicht geprüft werden, wie menschlich er klingt, sondern ob er bei Unsicherheit anzuhalten weiß und wie weit er bei Lärm und in anderen Sprachen abfällt; genau diese Hausaufgabe beginnen Benchmarks wie τ-Entity für die Branche zu erledigen.
