대규모 언어 모델이 근거로 뒷받침되지 않는 내용을 그럴듯하게 생성하는 이유를 설명하고, 사실 확인과 검색 기반 검증, 사람의 재검토, 고위험 의사결정에서 오류를 막는 방법을 살펴봅니다.
Google의 AI 검색 요약이 독일에서 다시 Google 자신의 책임이라는 판결을 받았다. 2026년 10월 18일 독일 기술 매체 The Decoder는 아헨 지방법원이 9월 24일자 결정으로 Google AI가 생성한 허위 서술의 확산을 금지했다고 보도했다. 이유...
대화를 하다가 새 창을 열어야 할지 망설여진다면, 먼저 판단부터 드립니다. 주제가 바뀌지 않았고, 잘못된 전제가 끼지 않았고, 앞의 맥락이 아직 필요하다면 이어가세요. 이 세 가지 중 하나라도 뒤집히면 새 창을 여세요. 잘못된 전제를 안고 계속 가는 것이 더 시간을 버...
모델 붕괴는 모델이 자신이 생성한 데이터로 반복 학습할 때 출력 분포가 세대마다 좁아져, 현실 세계의 드물지만 중요한 부분이 사라지는 현상입니다. 흔한 표현은 증폭되고, 드문 표현부터 사라지며, 오류가 정답처럼 고정됩니다. 꼬리는 어떻게 사라지는가 실제 데이터는 가운데...
AI 답변이 앞뒤로 모순될 때 가장 확실한 대응은 두 버전 중 마음에 드는 쪽을 고르는 것이 아닙니다. 일단 멈춰서 각 버전의 근거를 내놓게 하고, 핵심 사실은 직접 원본 출처에서 확인해야 합니다. 모순 자체가 신호입니다. 최소 한 버전은 즉석에서 지어낸 것이거나, 질...
AI가 쓴 글은 그대로 제출하면 안 된다. 문제는 'AI를 썼다'는 사실 자체가 아니라, 결과물에 대개 세 가지가 섞여 있기 때문이다. 지어낸 사실, 존재하지 않는 인용, 그리고 내 것이 아닌 판단이다. 내 이름으로 서명하는 순간 책임도 내 것이 된다. 과제든 원고든 ...
벤치마크는 AI 모델을 위한 표준 시험이다. 문제와 채점 규칙이 고정되어 있고, 여러 모델이 같은 문제를 풀어 점수를 비교한다. 필요한 이유는 실무적이다. 모든 업체가 자사 모델이 더 강하다고 주장하니, 나란히 비교할 자가 필요하다. 대표적인 시험 유형으로는 기억력을 ...
AI 에이전트가 "완료했습니다"라고 말해도 그것은 증거가 되지 않습니다. 주문, 예약, 일정 등록, 메일 발송 같은 작업이 실제로 실행됐는지는 대상 시스템에서 독립적인 근거를 찾을 수 있는지로 결정됩니다. 주문 번호나 예약 번호, 주문 내역 기록이 확인되지 않으면 아무...
AI가 추궁당하자마자 맞는 답을 거두는 것은 다시 생각해서가 아니라 대개 사용자에게 맞추려는 아첨입니다. 모델은 '사람이 기분 좋게 평가하는 답'에 보상받아 왔기 때문에 압력을 받으면 반박보다 철회를 고르기 쉽습니다. 그러니 답이 바뀌었다고 자동으로 나아졌다고 보지 말...
