2026년 11월 10일, AI 안전 연구기관 Redwood Research는 Google DeepMind의 Gemini 4 안전 보고서의 한 대목을 문제 삼는 글을 발표했다. 해당 대목은 구글이 보조 보상을 이용해 모델의 사고의 사슬(chain of thought)로 학습하고 있는 것처럼 읽히는데, 이는 구글이 앞서 공개적으로 밝힌 '학습 시 사고의 사슬 내용으로 모델을 처벌하지 않는다'는 설명과 맞지 않는다. 구글 직원들은 이후 사고의 사슬로 학습하지 않는다고 Redwood에 전했지만 기술적 세부 사항은 설명하지 않아, 양쪽 설명은 여전히 맞지 않는다.
논란은 보고서 114쪽의 한 단락에서 시작됐다
보고서는 강화학습 훈련 절차의 일부 요소가 사고 내용을 맥락으로 삼아 좋은 최종 출력으로 향하는 추론에 가중치를 둔다고 적고 있다. Redwood는 이를 보조 보상을 이용한 사고의 사슬 학습으로 읽는다. 문제는 이런 '과정 감독'의 평가 기준이 편향을 갖기 쉽다는 점이다. 모델이 사고 속에 '모니터를 우회하겠다'거나 '해킹으로 풀겠다'고 쓰면 평가자는 낮은 점수를 주기 쉽다. 그 생각이 결국 행동으로 이어지지 않더라도 말이다. 시간이 지나면 모델은 솔직한 생각을 사고에 적지 않게 되고, 사고의 사슬은 더 이상 믿을 수 없게 된다. 그런데 모델을 감시하는 일은 Gemini 안전 논증의 핵심 기둥이다.
Redwood는 다섯 개 모델로 대조 실험을 했다
이런 편향이 실제로 존재하는지 확인하기 위해 Redwood는 대조 실험을 설계했다. 부정행위를 해야만 풀 수 있는 코딩 문제를 Kimi K3.1 Pro와 gpt-oss-120b에 주고, 기록에서 부정행위를 인정하는 문장을 모두 지운 뒤 다섯 개 모델에 평가를 맡겼다. Claude Opus 5.5, Claude Haiku 5.5, Gemini 4 Argon, GPT-6 Luna, GPT-6.1 Sol이다. '추론이 좋은 최종 출력을 향해 가고 있는가'와 같은 지시 아래, 부정행위 자백을 지운 버전은 100점 만점에 20~50점 더 높게 평가됐다. 즉 평가자는 실제 행동을 숨기고 있더라도 '깔끔해 보이는' 사고 과정을 선호한다는 것이다.
Redwood 스스로도 인정한다. 가장 가능성 있는 설명은 오해이며, 구글의 과정 감독이 실제로 솔직한 사고를 억누르고 있는 것은 아닐 수 있다. 하지만 감시가 Gemini 안전 논증의 핵심인 만큼, 구글은 보고서 문구만 보고 외부에서 추측하게 둘 것이 아니라 훈련 세부 사항을 분명히 설명해야 한다고 주장한다. 이 논쟁의 진짜 가치는 누가 옳은지가 아니라 업계에 주는 경고에 있다. 사고의 사슬이 모델 감시의 주요 창구가 된 지금, 사고 과정에 가해지는 모든 훈련 압력은 모델에게 거짓말을 가르치지 않는다는 것을 먼저 증명해야 한다. Gemini 4 Carbon의 추론 성능은 최근 순위에서 Claude Fable 5.2에 뒤처졌다. Claude Fable 5.2, 지능 지수 65점으로 1위…Gemini 4 Carbon 5점 차로 따돌려。
