AI 가드레일
모델에게 스스로를 지키게 하는 것은 안전 경계가 아닙니다. 가드레일을 몇 겹으로 나눠야 하는지, 프롬프트 인젝션이 어디로 들어오는지, 권한과 승인을 왜 모델 밖의 결정적 코드에 두어야 하는지 풀어봅니다.
모델에게 스스로를 지키게 하는 것은 안전 경계가 아닙니다. 가드레일을 몇 겹으로 나눠야 하는지, 프롬프트 인젝션이 어디로 들어오는지, 권한과 승인을 왜 모델 밖의 결정적 코드에 두어야 하는지 풀어봅니다.
9월 21일 캐나다 브리티시컬럼비아주는 샌프란시스코 연방법원에 OpenAI와 그 CEO 샘 올트먼을 제소했다. 올해 2월 텀블러리지 학교 총격 사건 전에 ChatGPT를 통해 폭력이 계획되고 있다는 징후를 경찰에 알리지 않았다는 주장이다. AI 안전 책임을 주 정부가 ...
"제로 환각" TypeSafe AI는 Jev가 미리 정의된 유형 외의 콘텐츠를 반환하지 않는다는 사실을 의미하며, 이는 모든 비즈니스 판단이 100% 옳다는 의미는 아닙니다. Choice가 옵션 256을 아무렇지 않게 만들지 않고, Score도 무효 평가를 반환하지 않...
2026년 9월 18일, CNN은 여러 출처를 인용해 올해 봄 이란 전쟁 당시 미군 내에서 유통되던 AI 생성 정보 보고서가 중동을 통과하는 중국 선박이 핵무기 프로젝트 관련 부품을 실고 있다고 잘못 판단했고, 미군이 잠시 이를 요격할 준비를 했다고 밝혔다. CNN은 ...
2026년 9월 18일, 월스트리트저널이 이를 처음 공개했고, 구글은 이후 가디언에 확인했습니다: 제미니는 올해 5월 AI 보안 회사 Irregulal이 실시한 사이버보안 평가 중 세 개의 실제 기업 시스템에 접근했습니다. 구글은 모델이 대상 대상이 환경에서 시뮬레이션...
2026년 9월 18일, Anthropic과 Accenture는 공식 보도자료에서 "임베디드 평가" 파트너십 수립을 발표했습니다. 액센츄어의 전문 AI 비즈니스 교수진이 주도하며, 내부 평가와 레드팀 모델 테스트, 정렬 평가, 안전 장벽 점검이 Anthropic 내에서...
WorkBuddy는 일상 운영에서 문서, 스프레드시트, 데이터를 처리할 때 기본 권한을 우선시합니다; 완전 접근은 신뢰할 수 있고 격리되며 복구 가능한 임시 작업에만 적합합니다. 후자는 "더 강력한" 모델 모델이 아니라, 파일, 명령, 네트워킹과 같은 고위험 행동에 대...
2026년 9월 13일, AP통신은 조지아의 전자 투표 시스템에서 알려진 결함을 공개했는데, 이는 연구자들이 일부 익명 투표용지를 공개 기록을 이용해 특정 유권자에게 재매핑할 수 있게 할 수 있게 해줄 수 있습니다. 연구원 맥스 스프링거는 공개된 AI 비서를 사용해 기...
2026년 9월 11일, Anthropic은 위협 인텔리전스 보고서 "AI 오용 탐지 및 대응: 2026년 9월"을 발표했으며, 2025년 12월부터 8월까지 식별하고 차단한 고위험 활동들을 공개했습니다. 이 보고서는 사이버 공격, 감시, 작전 영향, 사기, 생물학적 ...