LangSmith는 2026년 10월 13일 LangChain 공식 블로그를 통해 AI Search 출시를 알렸습니다. 팀이 에이전트 운영을 되돌아볼 때 찾고 싶은 것은 키워드가 아니라 어떤 '행동'인 경우가 대부분입니다. 작업을 마쳤다고 말만 하고 실제로는 하지 않은 실행,뚜렷이 불만이 쌓인 사용자, 개인 정보가 새어 나간 요청 같은 것들입니다. 이런 질문은 트레이스(trace) 안에 검색할 필드가 없어 태그, 메타데이터, 전체 텍스트 검색으로는 걸러낼 수 없었고, 지금까지는 평가기를 미리 설치하거나 트레이스를 일일이 읽는 수밖에 없었습니다. AI Search는 찾고 싶은 행동을 자연어로 설명하면 그 행동이 실제로 일어난 트레이스를 돌려줍니다.
왜 벡터 검색을 쓰지 않았나
의미로 검색하는 통상적인 방법은 임베딩입니다. 질문과 각 트레이스를 짧은 숫자 목록으로 압축해 가장 가까운 것을 반환하죠. 하지만 트레이스의 정보량은 막대해서 하나의 벡터로 압축하면 디테일이 사라집니다. '실제로 작업을 한' 트레이스와 '했다고 말만 한' 트레이스는 임베딩 거리가 거의 같아질 수 있는데, 이는 팀이 가장 구분하고 싶어 하는 차이입니다. LangChain의 선택은 검색 시점에 모델이 트레이스 원문을 직접 읽게 하는 것입니다. AI Search는 트레이스 데이터 전용으로 자체 개발한 SmithDB 위에 구축되며, OpenAI와 Anthropic SDK, LangChain, LangGraph, Vercel AI SDK, OpenTelemetry 등 서로 다른 출처의 기록을 중복을 제거한 세션 궤적 뷰로 먼저 정리합니다. 검색할 때는 구조화 필터로 후보를 좁힌 뒤 빠른 결정 모델이 각 궤적과 질문을 대조해 병렬로 판단하고,적중한 결과를 스트리밍으로 반환합니다.
8K 예산, 우선순위대로 채운다
원문을 읽는 방식에는 비용 문제가 있습니다. 에이전트 궤적은 깁니다. LangChain 팀이 자사 코딩 에이전트 Open SWE의 대화 150건을 표본 조사한 결과 중앙값이 약 72K 토큰이었고, 그중 사용자 메시지와 에이전트 답변은 약 2K에 불과했으며 약 85%는 파일 읽기, 셸 출력 같은 도구 결과였습니다. 100만 토큰을 넘는 대화도 있었습니다. 그래서 각 궤적에는 8K 토큰의 읽기 예산이 주어지고, 사용자 메시지와 사용자에 대한 답변이 최우선으로, 그다음 중간 추론, 도구 호출, 도구 결과가 채워지며, 들어가지 않는 부분은 잘려 나갑니다.
실무 가치는 평가와 디버깅에 있습니다. 특정 실패 유형의 평가 세트를 늘리거나 주석 큐에 넣을 대화를 찾을 때, 모든 질문을 미리 예측해 둘 필요가 없어집니다. AI Search는 현재 공개 베타로 LangSmith Cloud의 GCP 미국, 유럽, 아시아태평양 리전에서 추가 비용 없이 제공되며 조직 관리자가 설정에서 켭니다. 한계도 분명히 적혀 있습니다. 판단은 모델이 트레이스를 읽은 결과라 틀릴 수 있고, 예산 때문에 잘린 도구 결과의 디테일에 다른 질문의 답이 숨어 있을 수 있다는 점입니다. 질문에 따라 맥락을 고르는 방식, 모델이 확신하지 못할 때의 재확인, 결과 그룹화와 요약이 후속 방향으로 제시됐습니다. 트레이스가 '저장되는 것'에서 '질문할 수 있는 것'으로 넘어갈 때 비로소 관측 가능성이 완성됩니다.
