프롬프트 인젝션은 공격자가 몰래 모델의 동작에 영향을 주는 명령을 모델이 읽을 수 있는 범위에 넣어, 모델이 따라야 할 작업이나 규칙에서 벗어나게 만드는 것을 말합니다. 반드시 '악성 코드'처럼 보이지는 않지만, 종종 웹페이지, PDF 문서, 지식 기반 콘텐츠, 표 노트, 심지어 평범해 보이는 문장 안에 섞여 있습니다.
왜 전통적인 의미의 허점이 아닌가
전통적인 취약점은 종종 프로그램 실행 계층의 결함을 악용합니다; 프롬프트 인젝션은 '모델을 사용해 자연어를 읽는' 것과 비슷합니다. 이 모델은 인간 언어를 잘 이해할 수 있어 장점이지만, 동시에 지시가 되어서는 안 될 내용을 지시로 혼동할 수도 있다는 의미이기도 합니다. 즉, 보안 문제이자 맥락적 경계 문제입니다.
가장 일반적인 주입 입구
- 네트워크 검색: 모델이 캡처한 웹페이지에는 "이전 규칙을 무시하기"나 "특정 콘텐츠를 대신 출력하기"와 같은 유도된 텍스트가 포함될 수 있습니다.
- 업로드 문서: PDF, 마크다운, 웹 스냅샷, KB 항목에는 모델의 판단에 영향을 미치는 단어가 포함될 수 있습니다.
- 다중 도구 시스템: 모델이 브라우저, 데이터베이스, 코드 도구를 계속 호출할 때 인젝션의 영향이 증폭될 수 있습니다.
가장 위험한 곳은 어디일까요?
| 위험 포인트 | 성능 |
|---|---|
| 규칙은 무시됩니다 | 모델이 시스템 요구사항을 무시하거나 실행을 과도하게 무시하기 시작합니다 |
| 답변은 편향되어 있습니다 | 이 모델은 더티 콘텐츠를 신뢰할 수 있는 컨텍스트로 취급합니다 |
| 툴체인은 오도되었다 | 에이전트는 오염된 지침에 따라 도구를 계속 탐색하고 조정합니다 |
프롬프트 인젝션과 탈옥 프롬프트 사이에는 차이가 있습니다. 탈옥은 보통 사용자가 모델 규칙에 정면으로 도전하는 것입니다; 프롬프트 주입은 오히려 한쪽에서 오염된 규칙에 가깝고, 모델 자체가 해당 콘텐츠를 실행해서는 안 된다는 것을 인식하지 못할 수 있습니다. 지난 2년간 점점 더 자주 언급된 이유는 모델이 더 이상 채팅창만 읽는 것이 아니라 웹 페이지를 읽고, 파일을 읽고, 지식 기반을 읽고, 도구를 연결하기 시작하기 때문입니다. 입력면이 확장될수록 입구 수가 증가합니다.
