LangSmith は 2026 年 10 月 13 日、LangChain の公式ブログで AI Search の提供開始を発表しました。エージェントの運用を振り返るとき、チームが探したいのはキーワードではなく「振る舞い」であることがほとんどです。タスクを終えたと言いながら実際には終えていない実行、明らかに不満を募らせたユーザー、個人情報が漏れたリクエスト。こうした問いは軌跡（trace）の中に検索用のフィールドを持たず、タグやメタデータ、全文検索では拾えません。これまでは事前に評価器を用意するか、軌跡を人手で読み続けるしかありませんでした。AI Search は、探したい振る舞いを自然言語で記述すると、それが実際に起きた軌跡を返します。
なぜベクトル検索を使わないのか
意味で検索する定番は埋め込みです。質問と各軌跡を短い数値列に圧縮し、近いものを返します。しかし軌跡の情報量は膨大で、1 本のベクトルへの圧縮は必然的に細部を落とします。「本当に実行した」軌跡と「実行したと言っただけ」の軌跡は埋め込み上ほぼ同じ距離になりかねず、まさにチームが区別したい差が消えてしまいます。LangChain の選択は、検索時にモデルへ軌跡の原文そのものを読ませることです。AI Search は軌跡データ専用に自研した SmithDB の上に構築され、OpenAI と Anthropic の SDK、LangChain、LangGraph、Vercel AI SDK、OpenTelemetry など異なる出所の記録を、重複を除いたセッション軌跡ビューへ整形します。検索時はまず構造化フィルターで候補を絞り、高速な判定モデルが各軌跡と質問を照合して並行処理し、命中したものから順に返します。
8K 予算は優先順位で埋める
原文を読む方式にはコストの問題があります。軌跡は長いのです。LangChain チームは自社のコーディングエージェント Open SWE の会話 150 件を抽出したところ、中央値は約 72K トークンで、そのうちユーザーの発言とエージェントの返答は約 2K にすぎず、約 85% はファイル読み取りやコマンド出力などのツール結果でした。中には 100 万トークンを超える会話もありました。そこで各軌跡には 8K トークンの読解予算が割り当てられ、ユーザーの発言とユーザーへの返答を最優先に、次に途中の推論、ツール呼び出し、ツール結果の順に詰め込み、入らない部分は切り捨てられます。
利用者にとっての価値は評価と障害対応にあります。ある失敗タイプの評価セットを拡充したい、注釈キュー向けに特定の会話を探したい、といった場面で、すべての問いを事前に予測しておく必要がなくなります。AI Search は現在パブリックベータで、LangSmith Cloud の GCP 米国、欧州、アジア太平洋リージョンで追加料金なく提供され、組織の管理者が設定で有効化します。限界も明記されています。判定はモデルが軌跡を読んだ結果であり誤り得ること、予算で切り捨てられたツール結果の細部に別の問いへの答えが潜むことがあること。質問に応じた文脈選択、不確かな場合の再確認、結果のグループ化と要約が今後の方向として挙げられています。軌跡が「保存されるもの」から「問いかけられるもの」になって初めて、可観測性は実を結びます。
