LangSmith hat am 13. Oktober 2026 im offiziellen Blog von LangChain den Start von AI Search bekannt gegeben. Wer den Betrieb seiner Agenten auswertet, sucht meist kein Stichwort, sondern ein Verhalten: der Lauf, in dem der Agent eine Aufgabe für erledigt erklärte, ohne sie zu erledigen, der sichtlich frustrierte Nutzer, die Anfrage, in der personenbezogene Daten durchsickerten. Für solche Fragen gibt es in Trace-Daten kein fertiges Feld; Tags, Metadaten und Volltextsuche helfen nicht, bisher blieben nur vorab eingerichtete Evaluatoren oder das manuelle Lesen. AI Search lässt Nutzer das gesuchte Verhalten in natürlicher Sprache beschreiben und gibt die Traces zurück, in denen es tatsächlich vorkam.
Warum es keine Vektorsuche nutzt
Der übliche Weg zur Suche nach Bedeutung sind Embeddings: Frage und jeder Trace werden zu einer kurzen Zahlenfolge verdichtet, die nächsten Treffer zurückgegeben. Doch ein Trace enthält enorm viele Informationen, und die Kompression auf einen Vektor ist verlustbehaftet – ein Trace, in dem der Agent die Arbeit tat, und einer, in dem er es nur behauptete, können nahezu identische Embeddings erhalten, genau die Unterscheidung, auf die es Teams ankommt. LangChain lässt Modelle stattdessen zur Suchzeit den Trace-Text selbst lesen. AI Search baut auf SmithDB, einer eigens für Trace-Daten entwickelten Datenbank, die Aufzeichnungen aus den SDKs von OpenAI und Anthropic, LangChain, LangGraph, dem Vercel AI SDK, OpenTelemetry und anderen Quellen zunächst zu einer deduplizierten Sitzungs-Trajektorie formt. Strukturierte Filter engen die Kandidaten ein, dann prüfen schnelle Entscheidungsmodelle jede verbleibende Trajektorie parallel gegen die Beschreibung und streamen Treffer, sobald sie gefunden sind.
Ein 8K-Budget, nach Priorität gefüllt
Originaltext zu lesen hat ein Kostenproblem: Agenten-Trajektorien sind lang. LangChain hat 150 Gespräche seines eigenen Coding-Agenten Open SWE untersucht; der Median lag bei etwa 72K Token, davon nur rund 2K Nutzernachrichten und Agentenantworten, etwa 85 Prozent waren Tool-Ausgaben wie Dateiaufrufe und Shell-Ergebnisse, einzelne Gespräche überschritten eine Million Token. Deshalb erhält jede Trajektorie ein Lesebudget von 8K Token, gefüllt nach Priorität: Nutzernachrichten und Antworten an den Nutzer zuerst, danach Zwischenschritte, Tool-Aufrufe und Tool-Ergebnisse; was nicht mehr passt, wird abgeschnitten.
Der praktische Nutzen liegt in Evaluierung und Fehlersuche: Ein Eval-Set für einen Fehlertyp erweitern oder bestimmte Gespräche für eine Annotations-Warteschlange finden – das setzt nicht mehr voraus, alle Fragen im Voraus zu erahnen. AI Search läuft als öffentliche Beta auf LangSmith Cloud in den GCP-Regionen USA, EU und APAC ohne Zusatzkosten, freigeschaltet durch einen Organisations-Admin. Die Grenzen werden offen benannt: Die Urteile stammen von einem Modell, das Traces liest, und können falsch liegen; und Details, die dem Token-Budget zum Opfer fallen – oft in Tool-Ergebnissen –, können die Antwort auf andere Fragen enthalten. Kontext je nach Frage wählen, zweite Durchläufe bei Unsicherheit sowie Gruppierung und Zusammenfassung der Ergebnisse sind als nächste Schritte genannt. Erst wenn Traces vom Gespeicherten zum Befragbaren werden, schließt sich der Kreis der Observability.
