컨텍스트가 거의 가득 차면 AI는 내용을 잊기 시작합니다. 이는 대개 태도가 나빠진 것이 아니라, 대화 초반의 내용이 잘리거나 압축되었기 때문입니다. 가장 안정적인 방법은 원래 대화에서 "틀렸어"라고 반복해서 지적하는 것이 아니라, 먼저 핵심을 요약하게 한 뒤 새 대화를 열고 그 요약을 붙여 넣어 이어가는 것입니다.
컨텍스트가 거의 찼다는 네 가지 신호
첫 번째 신호는 처음에 알려준 설정과 이름을 잊는 것입니다. 예를 들어 처음에 정해둔 인물 이름, 호칭, 형식 요구가 뒤로 갈수록 갑자기 바뀌거나 아예 쓰이지 않습니다. 두 번째 신호는 앞에서 이미 기각한 방안을, 마치 그런 논의가 없었던 것처럼 다시 꺼내는 것입니다. 세 번째 신호는 답변이 눈에 띄게 짧아지고 성의 없어지는 것입니다. 이전에는 제시하던 세부 내용과 예시가 점점 사라지고, 뭉뚱그린 결론만 남습니다. 네 번째 신호는 뒤섞기입니다. 서로 다른 단락, 다른 인물, 다른 버전의 정보를 혼동하고, 시간 순서와 인과관계도 어긋나기 시작합니다. 이 중 두세 가지가 나타나면, 설명이 부족했던 것이 아니라 대화가 너무 길어졌다고 봐도 됩니다.
오래 대화하면 왜 잊어버릴까
이유는 컨텍스트 윈도우가 유한하기 때문입니다. 한 번의 대화에서 모델이 동시에 볼 수 있는 텍스트 양에는 한계가 있어, 대화가 길어질수록 초반 내용은 밀려나거나 시스템에 의해 간략한 버전으로 압축되기 쉽고, 세부 내용은 자연스럽게 보존되지 않습니다. 완전히 밀려나지 않았더라도, 중간에 쌓인 대량의 대화 때문에 주의력은 희석됩니다. 거리가 멀고 언급 횟수가 적은 정보일수록 뒤에 오는 내용에 덮이기 쉽습니다. 윈도우 크기가 아무리 크게 표시되어 있어도 긴 대화 후반부에 품질이 떨어질 수 있는 것도 이 때문입니다. 이 점에 대해서는 컨텍스트 윈도우는 클수록 좋은 것이 아니다: 100만 토큰 뒤에 숨은 주의력 비용과 세 가지 오해를 참고할 수 있습니다.
잊기 시작하면 이렇게 이어가는 것이 가장 안정적이다
첫째, AI에게 이어가기용 요약을 작성하게 하고, 현재 목표, 이미 정해진 결론, 아직 해결되지 않은 문제, 이름·숫자·고정 표현처럼 반드시 보존해야 할 핵심 원문, 이 네 가지를 반드시 포함하라고 명시합니다. 둘째, 새 대화를 열고 요약을 먼저 붙여 넣은 뒤 "이 요약에 따라 이어가고, 이미 정해진 결론은 뒤집지 마세요"라는 한 줄을 덧붙이고 나서 새 질문을 합니다. 요약을 붙인 뒤에는 먼저 목표와 정해진 결론을 다시 말하게 해서 이해에 어긋남이 없는지 확인하고 진행하세요. 바로 질문을 이어가는 것보다 수고가 덜 들고, 잘못 이해한 채 계속 나아가는 것도 막을 수 있습니다. 반복해서 쓰는 이름, 표현 기준, 금지 사항은 별도의 텍스트로 저장해 두고 새 대화를 열 때마다 붙여 넣는 것도 좋습니다. AI가 스스로 기억하기를 기대할 필요가 없습니다. 셋째, 긴 작업은 가능한 한 단계로 나누고, 단계마다 대화를 따로 열어 이전 단계의 요약과 결과만 가져옵니다. 전체 일을 하나의 대화에 몰아넣고 끝까지 끌고 가지 마세요. 넷째, 중요한 설정은 각 대화의 처음에 적고, 중요한 지점에서는 때맞춰 다시 한 번 언급합니다. 다섯째, 하나의 대화에 서로 관련 없는 여러 작업을 섞지 마세요. 주제가 많아질수록 정보끼리 서로 간섭하고, 잊어버림과 혼동은 더 빨리 찾아옵니다.
혼동하기 쉬운 두 가지 경계
유료 버전의 컨텍스트 윈도우는 보통 더 크고 더 오래 버티지만, 역시 상한이 있어 충분히 길어지면 똑같이 가득 찹니다. 회원이 되면 해결된다고 기대해서는 안 됩니다. 또한 많은 제품의 '메모리' 기능과 한 번의 대화에서의 컨텍스트는 같은 것이 아닙니다. 메모리는 대화를 넘나들며 소량의 선호와 사실을 저장하는 것이고, 컨텍스트는 지금 이 대화에서 AI가 그 순간 볼 수 있는 전체 내용입니다. 이 대화에서 방금 알려준 설정을 잊었다면 대개 컨텍스트의 문제이며, 설정에서 메모리를 켜고 끄는 것으로는 해결되지 않습니다.
