모델에게 스스로를 지키게 하는 것은 안전 경계가 아닙니다. 가드레일을 몇 겹으로 나눠야 하는지, 프롬프트 인젝션이 어디로 들어오는지, 권한과 승인을 왜 모델 밖의 결정적 코드에 두어야 하는지 풀어봅니다.
2026년 9월 11일, Anthropic은 위협 인텔리전스 보고서 "AI 오용 탐지 및 대응: 2026년 9월"을 발표했으며, 2025년 12월부터 8월까지 식별하고 차단한 고위험 활동들을 공개했습니다. 이 보고서는 사이버 공격, 감시, 작전 영향, 사기, 생물학적 ...
AI 가드레일(일반적으로 AI 가드레일로 번역됨)은 모델 입력, 맥락, 도구 호출, 출력을 중심으로 설정된 제약 및 감지 메커니즘을 의미합니다. 이는 금지된 항목에 대한 시스템 프롬프트와는 다릅니다; 진정으로 사용 가능한 가드레일은 계층적으로 작동하며, 우회할 경우 영...
프롬프트 인젝션은 공격자가 몰래 모델의 동작에 영향을 주는 명령을 모델이 읽을 수 있는 범위에 넣어, 모델이 따라야 할 작업이나 규칙에서 벗어나게 만드는 것을 말합니다. 반드시 '악성 코드'처럼 보이지는 않지만, 종종 웹페이지, PDF 문서, 지식 기반 콘텐츠, 표 노...
OpenAI는 에이전트가 프롬프트 인젝션을 어떻게 저항할 수 있는지에 관한 기술 논문을 발표했으며, 핵심 의미는 명확합니다: 진짜 위험은 악성 텍스트를 추가로 읽는 것이 아니라, 유도된 후 사용자를 위해 해서는 안 될 행동을 수행하는 에이전트입니다. 에이전트 제품의 경...
OpenAI는 주로 개발 단계에서 팀이 AI 시스템의 취약점을 식별하고 수정하는 데 도움을 주는 기업용 AI 보안 플랫폼인 Promptfoo를 인수한다고 발표했습니다. 대형 모델을 생산 시스템에 연결하는 기업들에게 이는 단순한 M&A 소식이 아니라 매우 명확한 제품 신...
2026년 1월 9일, Anthropic은 "차세대 헌법 분류기"(Constitutional Classifiers++라고도 함)를 출시하기 위한 연구 논문과 보고서를 발표하여 대형 모델의 "일반 탈옥" 공격으로부터 보호 효율성을 향상시키기 위해 발표했습니다. 관계자들은...
12월 22일 저녁, 콰이슈의 생방송실에 포르노와 기타 불법 콘텐츠가 등장했고, 플랫폼은 이를 흑백 제작 공격으로 경찰에 신고했다고 밝혔다. 모든 생방송 플랫폼에서 이러한 사건의 핵심은 콘텐츠 보안과 대립 고조입니다: 흑백 제작은 자동화된 배치 배송으로, 플랫폼이 몇 ...
통이첸웬(Tongyi Qianwen)은 교차 언어, 실시간 및 구현 가능한 기능을 갖춘 Qwen3Guard 보안 검토 모델 시리즈를 출시했습니다. 119개 언어와 방언을 지원하는 이 시리즈는 세 가지 매개변수 척도(0.6B, 4B, 8B)와 두 가지 폼 팩터를 제공합니...
