AI 답변이 매번 다른 것은 대부분 완전히 정상적인 현상이며, 기억력이 나빠서가 아닙니다. 진짜 이유는 두 가지뿐입니다. 하나는 모델이 텍스트를 생성할 때 단어를 무작위로 샘플링하기 때문에 같은 질문을 두 번 실행하면 단어 선택 경로가 달라지는 것이 당연하다는 점이고, 다른 하나는 두 번 질문할 때의 조건이 달라졌다는 점입니다. 새 대화 시작, 메모리 기능 활성화, 백그라운드에서의 모델 버전 교체 등 입력이 다르면 답이 달라지는 것도 당연합니다.
답이 달라지는 세 가지 이유
첫째, 샘플링의 무작위성입니다. 대규모 모델은 문제집에서 답을 찾아오는 것이 아니라 한 단어씩 "주사위를 굴리듯" 선택합니다. 전문적으로는 temperature, top-p 샘플링이라고 합니다. 이 무작위성은 설계된 것이지 결함이 아니므로, 표현·예시·구성이 매번 달라지는 것은 정상입니다.
둘째, 컨텍스트와 기억이 다르기 때문입니다. 새 대화에는 기록이 없어 모델이 질문을 문자 그대로만 해석합니다. 기록이 있는 대화에서는 이전 요청을 참고하고, 메모리 기능이 켜져 있으면 이전에 기억한 선호도도 반영합니다. 질문은 같아 보여도 실제 입력은 이미 바뀐 것입니다. 두 답변의 차이가 유난히 크다고 느껴지면 먼저 떠올려 보세요. 같은 대화 안에서 질문했나요? 같은 종류의 문제를 다룬 이 글에서는 무작위성·컨텍스트·도구 반환을 나누어 설명합니다: 같은 프롬프트인데 매번 결과가 다른 이유는? 먼저 무작위성·컨텍스트·도구 반환을 구분하자。
셋째, 모델 버전이나 라우팅이 바뀌었기 때문입니다. 많은 제품이 모델을 조용히 업데이트하거나 요청을 다른 모델로 분산시킵니다. 같은 입구라도 앞뒤로 전혀 다른 모델이 답변할 수 있어, 스타일과 세부 내용이 흔들리는 것은 정상입니다.
안정적인 답을 원한다면 이렇게 하세요
- 비교 기준을 맞추세요. 두 답변을 비교할 때는 "표현"이 아니라 "결론"을 봅니다. 표현이 달라도 답이 다른 것은 아닙니다.
- 제약 조건을 프롬프트에 적으세요. 출력 형식·길이·경계를 명확히 합니다. 예: "3가지 요점으로 답변, 각 요점은 두 문장 이내, 예시 금지". 제약이 구체적일수록 무작위성의 여지가 줄어듭니다.
- 장기 선호도를 고정하세요. 문체나 코드 규칙 같은 지속적인 요구는 매번 다시 설명하지 말고 메모리나 맞춤 지침에 저장하세요.
- 모델 버전을 고정하세요. 일관성이 중요한 상황에서는 두 번 모두 같은 구체적인 모델을 사용했는지 확인하고, 공식 모델 업데이트 공지도 챙겨 보세요.
다양한 각도의 답을 원한다면 이렇게 하세요
- 질문 방식을 바꿔 여러 번 샘플링하세요. "찬성과 반대 두 입장에서 각각 하나씩" 또는 "세 가지 다른 해법을 더 달라"고 직접 요구하세요.
- 여러 답변의 공통 부분을 취하세요. 사실 관련 내용은 여러 번 일치하는 부분을 믿으세요. 일치하지 않는 부분은 따로 검증하고, 어느 한 번의 답변을 그대로 채택하지 마세요.
경계해야 할 때: 이것은 무작위가 아니라 "환각 드리프트"입니다
정상적인 무작위성의 범위를 벗어나는 불일치가 두 가지 있으며 주의가 필요합니다. 하나는 두 답변이 핵심 사실에서 서로 모순될 때입니다. 날짜·숫자·인명이 맞지 않으면 적어도 한쪽은 지어낸 것입니다. 다른 하나는 같은 질문을 반복할수록 세부 내용이 늘어나는데, 어느 것도 검증을 통과하지 못할 때입니다. 전형적인 환각입니다. 환각이 왜 발생하는지는 여기에서: AI 환각이란? 대규모 모델이 왜 태연하게 틀리는가. 사실 관련 질문에서는 항상 교차 검증하세요. 근거를 요구할 때는 "불확실한 부분은 명확히 표시해 달라"는 한마디를 덧붙이면, 자신만만한 지어내기의 대부분을 걸러낼 수 있습니다.
