AI를 쓰다 보면 점점 "바보가 된 것 같다"는 느낌, 정말 흔하다. 하지만 결론을 서두르지 말자. 열에 아홉은 모델이 실제로 성능이 떨어진 게 아니라 사용 환경 속 세 가지 변수가 원인이다. A, B, C 순서대로 점검하면 대부분 진짜 원인을 찾을 수 있다.
먼저 A를 확인하자: 지금 대화하는 게 처음 그 모델이 맞는가
많은 플랫폼은 기본적으로 "자동 선택"이 켜져 있어 피크 시간대에는 슬쩍 더 저렴하고 약한 모델로 라우팅한다. 앱 업데이트 후 기본 모델이 초기화되기도 하고, 무료 한도를 다 쓰면 뚜렷한 알림 없이 다운그레이드하는 서비스도 있다. 플래그십 모델과 대화하는 줄 알았는데 실제로는 다른 "인격"이 답하고 있는 셈이다.
확인법은 간단하다. 대화 화면의 모델 이름이 예상과 맞는지 보고, 설정에서 기본 모델을 확인한 뒤, 익숙한 "벤치마크 질문"을 현재 모델에서 다시 실행해 답변 품질을 예전과 비교한다.
다음 B를 확인하자: 컨텍스트가 오염되지 않았는가
긴 대화에서는 초반의 잘못된 답변이 기정사실로 취급되어 계속 인용된다. 메모리나 사용자 지정 지침 속 낡은 취향이 알아차리지 못하는 사이 새 답변을 삐뚤게 만든다. 여러 턴이 쌓이면 모델의 주의력이 희석되어 현재 질문에 대한 집중도가 자연스럽게 떨어진다. 모두 "예전엔 이렇지 않았는데"라고 느끼게 만드는 원인이다.
확인법: 깨끗한 새 대화를 열어 같은 질문을 한 글자도 바꾸지 않고 다시 묻는다. 메모리와 사용자 지정 지침에 낡은 내용이 없는지 확인하고, 필요하면 메모리를 끄고 다시 테스트한다.
다음 C를 확인하자: 샘플링의 무작위성 — 그리고 자신의 질문 방식
모델의 답변에는 본질적으로 무작위성이 있다. 같은 질문을 두 번 물으면 품질에 편차가 생기는 게 당연하고, 사람은 대개 가장 좋았던 답변만 기억한다. 또 하나 뼈아픈 진실이 있다. 익숙해질수록 질문은 점점 간략해지고 배경 정보는 줄어드는데 기대치는 올라간다. 답변이 나빠진 건 질문이 "대충"해진 탓일 수도 있다.
확인법: 당시에 "똑똑한 답변"을 끌어냈던 질문을 한 글자도 바꾸지 않고 다시 물어본다. 차이가 여전한지 본다.
자가 점검 4단계 — 결론 내리기 전에 끝까지 해보자
1단계, 모델 버전과 라우팅 설정을 확인해 약한 모델로 바뀌지 않았는지 제외한다. 2단계, 깨끗한 새 대화에서 벤치마크 질문으로 재측정한다. 3단계, 메모리와 사용자 지정 지침을 확인하고 낡은 취향을 정리한다. 4단계, 질문의 배경 정보를 보충한 뒤 다시 측정한다. 4단계를 마치면 "바보가 됐다"는 느낌은 대개 구체적인 원인으로 귀결된다.
"정말 모델이 바뀐" 경우는 언제인가
소수지만 모델 쪽이 실제로 바뀐 경우도 있다. 공식이 버전 업데이트나 구 모델 종료를 발표한 경우, 피크 시간대에 일부 업체가 일시적으로 연산 자원을 줄여 답변 품질이 부하에 따라 출렁이는 경우, 깨끗한 환경에서 같은 벤치마크 질문이 계속 나빠지고 비슷한 보고가 다수 있는 경우다. 이때는 프롬프트를 붙잡고 씨름할 게 아니라 모델을 바꾸거나 공식 수정을 기다리는 게 정답이다. 방향이 틀리면 조정할수록 지치기만 한다.
