2026년 9월, 보안 연구원 Ariel Simon 팀이 Medium에 'Dark Sourcery'라는 연구를 발표했다. 해커들이 '생성형 엔진 최적화'(GEO) 기법을 이용해 ChatGPT, Gemini, Google AI Overview의 답변을 대규모로 오염시키고, AI가 내놓는 '신뢰할 만한 답변' 속에 사기 전화번호, 피싱 이메일 주소, 가짜 로그인 페이지를 심고 있다는 것이다.
공격 규모: 374개 기업
연구팀은 탐지 시스템을 구축해 3개 AI 플랫폼이 포춘 100대 기업, 은행, 항공사, 소프트웨어 기업 등에 대해 내놓는 답변을 지속적으로 분석하고 AI가 인용하는 출처에 점수를 매겼다. 결과는 374개 기업의 관련 쿼리에서 실제 오염 공격이 발견됐다는 것. 델타항공, 루프트한자, 뱅크오브아메리카, Chase, Airbnb, TripAdvisor 등 유명 브랜드가 포함됐다.
유의할 점도 있다. 대규모 언어 모델의 답변은 본질적으로 불안정하다. 연구진도 인정하듯 같은 쿼리를 반복 실행해도 AI가 가짜 번호를 인용하는 '오염' 현상이 매번 재현되는 것은 아니다. 오염 콘텐츠가 정교할수록 성공률은 높아진다.
오염 수법: 마케팅 기법을 사기에 전용
GEO는 원래 마케팅 개념이다. AI가 어떤 출처를 인용하는지의 법칙을 연구해 자사 브랜드가 인용되기 쉽게 콘텐츠를 최적화하는 것이다. 공격자들은 이 방법론 전체를 사기에 가져왔다.
첫째, 콘텐츠를 'AI 친화적'으로 만든다. 가짜 번호를 반복 기재하고 Q&A 형식으로 정리하며 '24/7', 'updated 2026', 'call now' 같은 문구를 넣어 AI가 긁어가고 인용하기 쉽게 한다.
둘째, 스팸 필터를 우회한다. 같은 번호를 공백, 점, 이모지, 유니코드 변형, 숫자 사이 단어 삽입 등 수십 가지 표기로 표현한다. 필터에는 서로 다른 텍스트로 보이지만, AI는 토큰화 뒤에 같은 번호로 이해한다.
셋째, 물량으로 '권위'를 연출한다. 같은 문구를 Instagram, Tumblr, LeetCode, YouTube 동영상 설명, Medium 등 사용자 생성 콘텐츠 플랫폼에 복사하고, 정부·대학 사이트의 파일 게시판(대부분 PDF)과 Google Sites, GitHub Pages, WordPress에도 올린다. 진짜 번호와 가짜 번호를 섞고, 유용한 조언에 사기 정보를 끼워 넣으며, AI가 만든 '공식 같은' 이미지와 가짜 좋아요·댓글을 덧붙인다. AI는 가짜 번호 인용을 '다수 출처 교차 검증의 결과'로 받아들인다.
넷째, 사람이 다급한 상황을 노린다. 환불, 항공편 취소, 계정 잠금, 송금 문제. 초조한 사람일수록 공식 사이트에서 재확인하지 않고 전화를 걸어버린다.
삭제가 따라잡지 못하는 이유
연구진에 따르면 이들 공격은 명백히 자동화돼 있다. 같은 템플릿, 같은 번호, 같은 문구로 플랫폼 하나·기업 하나당 하루 수백 건, 전체 네트워크에서는 매일 수천 건의 신규 게시물이 나온다. 하나를 지우는 동안 새로운 것 천 개가 이미 올라와 있다.
더 골치 아픈 것은 '좀비 콘텐츠'다. 원본 게시물이 삭제돼도 archive.org 같은 아카이브 사이트의 스냅샷은 검색 엔진에 계속 색인돼 독성이 남는다. 연구진의 예에 따르면 아메리칸항공을 겨냥한 LeetCode의 공격 게시물이 24시간 만에 Google 검색 결과 10여 페이지를 채웠다.
가장 껄끄러운 대목: 벤더는 둘 다 인정하지 않는다
연구팀은 버그바운티와 보안 채널을 통해 지목된 모든 기업에 연락했지만, 대부분 공격 규모를 몰랐다. Google과 OpenAI에 연락한 결과는 더 의미심장하다. Google은 'AI가 생성한 오정보'는 취약점 포상 프로그램 범위를 벗어난다고 판단했고, OpenAI는 실제 공격 사례가 첨부됐음에도 '재현 불가'를 이유로 보고서를 닫았다.
두 벤더의 논리는 같다. 조작된 것은 AI의 '답변 내용'이지 자사 시스템의 취약점이 아니므로 취약점에 해당하지 않는다는 것이다. 하지만 이는 방어 공백을 드러낸다. 공격은 실재하고 사용자는 실제로 속고 있는데, 책임을 인정하는 벤더가 없다.
일반 사용자에게 결론은 현실적이다. AI 답변에서 고객센터 전화번호를 봤다면, 특히 송금이나 계정 보안과 관련된 상황에서는 먼저 공식 사이트나 공식 앱에서 확인하라. 연구진이 인용한 조사에 따르면 사용자의 92%는 AI 답변을 검증하지 않는다. 공격 사슬 전체는 바로 이 전제 위에 성립한다.
