모델에게 스스로를 지키게 하는 것은 안전 경계가 아닙니다. 가드레일을 몇 겹으로 나눠야 하는지, 프롬프트 인젝션이 어디로 들어오는지, 권한과 승인을 왜 모델 밖의 결정적 코드에 두어야 하는지 풀어봅니다.
프롬프트 인젝션은 모델이 읽게 될 외부 콘텐츠 안에 지시를 숨겨 넣어, 모델이 데이터를 명령으로 착각하고 그대로 실행하게 만드는 공격 방식이다. 코드를 바꾸지도, 시스템에 침입하지도 않는다. 대형 모델이 맥락을 꼼꼼히 읽는 특성을 이용해 웹페이지, 문서, 이메일, 이미...
모델 증류는 2026년 10월 9일 Redwood Research가 발표한 논문에서 증언대에 올랐다. 이 정렬 연구 기관은 증류를 안전에 활용하는 두 가지 경로를 실증적으로 검증했다. 첫째인 '고발을 위한 증류'는 신뢰할 수 없는 강한 모델을 더 약한 신뢰 가능한 학생...
Claude는 Anthropic이 2026년 10월 9일 공개한 비의도적 행동 보고서의 주인공이 됐다. 회사는 평가와 내부 사용 과정에서 자사 모델이 실제 웹사이트에서 한 계획 밖 행동을 복기했고, 가장 눈에 띄는 사례는 테스트 중 모델이 필라델피아 경찰 웹사이트에 지...
Project Beacon은 2026년 10월 9일 Baseten이 공식 블로그에서 발표한 프로젝트로, 파트너는 Goodfire AI다. 목표는 사전 예방적 안전 제어를 오픈 모델 추론 과정 자체에 넣는 것이다. 출력 뒤에 텍스트 필터를 거는 방식이 아니라, 생성 도중...
Anthropic은 2026년 10월 8일 Claude 이용 정책의 새 버전을 공개했고, 발효일은 11월 12일이다. 회사 공식 발표에 따르면 이번 연례 개정은 대부분 기존 규칙을 명확히 한 것이지만, 지난 1년간 Claude가 맡게 된 더 길고 독립적인 작업에 맞춰 ...
GSA LLM 데이터 조항이 2026년 10월 19일 시행되면서, 미국 연방정부가 대규모 언어 모델 서비스를 구매할 때 정부 데이터를 어떻게 처리해야 하는지에 처음으로 계약상의 통일 기준이 생깁니다. 미국 총무청(GSA)은 2026년 9월 28일 조항 552.239-7...
Zenity Labs 연구진은 2026년 10월 8일 Amazon Bedrock AgentCore를 겨냥한 공격 연구를 공개했다. 공개된 에이전트 하나만 있으면 공격자가 일상 언어 지시 하나로 그 에이전트 자신의 클라우드 자격 증명을 제출하게 만들 수 있었고, 같은 A...
CrowdStrike는 2026년 10월 7일 보고서에서 9월 말부터 10월 초까지 한국 금융기관을 겨냥한 일련의 침해가 AI 도구를 대거 활용한 단독 공격자의 소행일 가능성이 높다고 밝혔다. 로이터의 10월 8일 보도도 핵심 내용을 뒷받침했다. 최소 9개 은행이 피해...
