에이전트 메모리는 에이전트가 단일 대화 외에 작업 관련 정보를 어떻게 보존, 회상, 업데이트하는지를 의미합니다. 사용자 선호도, 과거 단계, 도구 결과, 환경 상태, 또는 장기적인 경험 요약일 수 있습니다. 이 용어는 최근 점점 더 흔해졌는데, 갑자기 기억에 대해 이야기하는 것을 좋아해서가 아니라, 많은 에이전트들이 많은 일을 할 수 있는 것처럼 보이지만 실제 과정에 들어가면 같은 문제가 드러나기 때문입니다: 이전 라운드에서 언급한 제약들이 다음 라운드에서는 잊혀집니다.
채팅 전용 모델은 기억이 약하고 본질적으로 현재 컨텍스트 창에 의존합니다. 창문에 있으면 "기억"할 거고; 창문이 사라지거나 정보가 너무 깊이 묻혀 있다면, 마치 한 번도 본 적 없는 것처럼 보입니다. 하지만 에이전트들은 채팅보다 훨씬 복잡한 업무를 수행해야 하는 경우가 많으며, 여러 라운드, 도구, 세션, 심지어 다음 날까지 이어지는 업무가 있습니다. 독립적인 메모리 계층이 없으면 시스템이 안정적으로 연속성을 유지하기 어렵습니다.
많은 팀이 에이전트 메모리를 여러 범주로 나눕니다. 가장 일반적인 것은 작업 기억으로, 현재 작업의 즉각적인 상태로, 어떤 도구가 옮겨졌는지, 어떤 결과가 얻었는지, 다음에 무엇을 계획하고 있는지 등을 나타냅니다. 더 위쪽에는 세션 메모리가 있는데, 이는 사용자가 작업 중 설정한 선호도, 제한 조건, 맥락을 기억하는 데 사용됩니다. 장기적으로는 지속 기억으로, 사용자 초상화, 역사적 항목, 반복되는 의사결정 패턴을 보존할 수 있습니다.
왜 어려운 걸까요? 왜냐하면 '기억'이 더 많을수록 좋다는 뜻은 아니니까요. 만약 모두 저장하면 수색과 오염이 더 심해질 것입니다; 저장 공간이 너무 적으면 연속성이 깨집니다. 더 어려운 점은 기억이 무엇을 보관할 가치가 있는지, 얼마나 오래 보관할지, 언제 잊어야 할지, 언제 업데이트할지 판단해야 한다는 점입니다. 좋은 쓰기 및 검색 메커니즘이 없으면 메모리 계층은 쉽게 보조 기능에서 노이즈의 원천으로 변할 수 있습니다.
에이전트 메모리는 모든 채팅 기록을 모델에 전달하는 것과 다릅니다. 진정으로 유용한 기억은 종종 다듬고 구조화되어야 합니다. 예를 들어, "사용자는 짧은 답변을 선호합니다"는 재사용 가능한 선호도로 기록되고, "이 환급 프로세스는 승인 2에 멈춰 있습니다"라는 내용은 작업 상태로 기록되며, 20라운드의 대화를 원래 상태로 붙여넣는 것이 아닙니다. 전자는 시스템이 점점 더 능숙하게 작동하게 만들고, 후자는 오히려 맥락을 점점 더 혼란스럽게 만든다.
왜 요금은 사람들이 이렇게까지 주목할까요? 에이전트가 데모에서 연속 사용으로 전환하기 때문입니다. 사용자들은 한 번만 테스트하지 않고, 조수가 점점 더 지속적으로 저를 이해해주길 바랄 것입니다. 메모리 계층이 없으면 에이전트는 매번 새로운 인턴과 같아; 좋은 기억 층이 있으면 "이 시스템이 정말로 경험을 축적하고 있다"는 느낌을 보여줄 기회를 가질 수 있습니다.
따라서 많은 에이전트의 한계는 능력의 상한이 아니라 연속성의 하한에 있습니다. 할 수 없는 것은 아니지만, 지난번에 이미 알고 있던 것을 꾸준히 잡아내지는 못합니다. 에이전트 메모리가 뜨거운 단어가 된 이유는 진짜 에이전트가 현재 라운드에만 있을 수 없다는 것을 모두가 점점 깨닫기 시작했기 때문입니다.
