AI가 준 참고문헌이 데이터베이스에서 검색되지 않는다면, 내가 잘못 찾은 것이 아니라 AI가 지어냈을 가능성이 큽니다. 저자, 학술지명, 연도, 권호까지 그럴듯한데 그 논문만 존재하지 않는 경우입니다. 이는 대형 모델의 가장 전형적인 환각 장면 중 하나로, 모델의 일은 '문헌처럼 보이는 텍스트를 생성하는 것'이지 데이터베이스에서 실제 논문을 검색하는 것이 아니기 때문입니다. 진위 판단에 감은 필요 없습니다. 아래 네 단계면 한 건을 10분 안에 검증할 수 있습니다.
왜 이렇게 그럴듯하게 지어내는가
모델은 훈련 데이터에서 방대한 인용 형식을 봤습니다. 어떤 분야가 어떤 학술지에 내는지, 제목을 어떻게 짓는지, 저자 이름을 어떻게 배열하는지, 그 통계적 패턴을 익혔습니다. '출처를 대라'고 하면 그 패턴에 맞춰 즉석에서 한 건을 조립합니다. 형식이 규범적일수록 진실의 증거는 되지 못합니다. 형식의 정확함이야말로 모델이 가장 잘하는 부분이기 때문입니다.
네 단계 검증법
첫째, 제목 원문을 검색합니다. 전체 제목을 Google 학술검색, CNKI, PubMed에 한 글자도 틀리지 않게 넣어 검색하세요. 실제 논문이라면 원문 페이지가 거의 반드시 나옵니다. 단어 몇 개만 맞고 전체 제목으로 아무것도 나오지 않으면 일단 가짜로 취급하세요.
둘째, DOI를 확인합니다. 정식 논문 대부분에는 10.xxxx/xxxxx 형태의 DOI가 있으며 doi.org나 Crossref에서 조회할 수 있습니다. DOI가 조회되지 않거나, 조회된 논문과 제목이 맞지 않으면 그 인용은 바로 폐기합니다.
셋째, 학술지 권호를 대조합니다. 학술지 공식 사이트에서 해당 연도의 권호 목록을 열어 그 호가 실제로 나왔는지, 페이지 범위가 맞는지를 봅니다. 조작된 인용은 이 단계에서 자주 드러납니다. 예컨대 2019년에 40권 자체가 없었던 학술지 같은 경우입니다.
넷째, 저자를 확인합니다. 저자 이름에 연구 분야를 더해 검색해 그 사람이 실재하는지, 이 분야에서 논문을 낸 적이 있는지를 봅니다. 가짜 인용의 저자는 '실재하는 학자지만 분야가 다른' 경우나 아예 없는 사람인 경우가 많습니다.
이런 신호가 나오면 바로 사용 불가
제목이 검색되지 않고 DOI까지 무효하면, 두 가지가 겹친 시점에서 더 검증할 필요가 없습니다. 학술지명과 연도만 있고 권호와 페이지가 없는 인용은 기본적으로 미검증으로 취급하세요. 더 교묘한 유형도 있습니다. 논문은 실재하지만 AI가 말하는 내용이 그 논문에 없는 경우입니다. 인용하기 전에 최소한 초록을 읽고, 내가 쓰려는 문장을 정말 뒷받침하는지 확인하세요.
다음부터의 올바른 사용법
논문, 보고서, 신청 자료를 쓸 때는 범용 채팅 모델에게 문헌을 공중에서 만들게 하지 마세요. 더 안전한 방법은, 먼저 데이터베이스에서 실제 문헌을 직접 찾은 뒤 초록이나 전문을 AI에 주어 요약, 비교, 윤문을 맡기는 것입니다. 또는 실시간 검색이 되고 클릭 가능한 출처를 주는 도구를 쓰되, 한 건씩 열어 확인하세요. 내 이름으로 제출하는 자료라면 위 네 단계를 통과하지 못한 인용은 단 한 건도 참고문헌 표에 넣을 수 없습니다. 학술 현장에서 인용 조작의 책임은 도구가 아니라 제출자에게 있습니다.
