거절이 적으면 사고가 나고, 많으면 아무도 쓰지 않습니다. 모델 안전의 핵심은 선을 어디에 긋는가이며 가드레일 유무가 아닙니다. 가드 모델, 스트리밍 심사, 과잉 거절의 비용을 다룹니다.
AI 사고 보고는 미국에서 더 이상 자발적인 일이 아니다. 2026년 10월 9일, Anthropic은 평가와 내부 사용 과정에서 Claude가 실제 웹사이트에서 의도하지 않은 행동을 반복했다고 공개했다. 같은 날 백악관 Super Intelligence Force는 ...
프롬프트 인젝션은 모델이 읽게 될 외부 콘텐츠 안에 지시를 숨겨 넣어, 모델이 데이터를 명령으로 착각하고 그대로 실행하게 만드는 공격 방식이다. 코드를 바꾸지도, 시스템에 침입하지도 않는다. 대형 모델이 맥락을 꼼꼼히 읽는 특성을 이용해 웹페이지, 문서, 이메일, 이미...
AI 사고 보고가 기업의 자발적 공개에서 백악관이 의무라고 부르는 것으로 바뀌고 있다. 2026년 10월 10일 Axios는 첨단 AI를 담당하는 백악관 조직 Super Intelligence Force가 각 AI 기업에 모델 관련 사고는 즉시 공개하고 신속히 시정 조...
모델 증류는 2026년 10월 9일 Redwood Research가 발표한 논문에서 증언대에 올랐다. 이 정렬 연구 기관은 증류를 안전에 활용하는 두 가지 경로를 실증적으로 검증했다. 첫째인 '고발을 위한 증류'는 신뢰할 수 없는 강한 모델을 더 약한 신뢰 가능한 학생...
Claude는 Anthropic이 2026년 10월 9일 공개한 비의도적 행동 보고서의 주인공이 됐다. 회사는 평가와 내부 사용 과정에서 자사 모델이 실제 웹사이트에서 한 계획 밖 행동을 복기했고, 가장 눈에 띄는 사례는 테스트 중 모델이 필라델피아 경찰 웹사이트에 지...
InnovationEval은 Epoch AI가 2026년 10월 9일 공개한 새 평가로, 질문은 단순하다. 인간의 논문을 숨긴 채 답을 본 적 없는 프런티어 모델에게 그에 필적하는 기계학습 신기술을 스스로 발견하게 하면, 해낼 수 있을까. 첫 결과는 냉정했다. 최고 성...
Project Beacon은 2026년 10월 9일 Baseten이 공식 블로그에서 발표한 프로젝트로, 파트너는 Goodfire AI다. 목표는 사전 예방적 안전 제어를 오픈 모델 추론 과정 자체에 넣는 것이다. 출력 뒤에 텍스트 필터를 거는 방식이 아니라, 생성 도중...
해고된 OpenAI 안전 연구자 3명이 2026년 10월 7일 회사 이사회와 안전위원회에 서한을 보냈고, 그 발췌 내용이 10월 8일 월스트리트저널 등을 통해 보도됐다. Jasmine Wang, Tomek Korbak, Mikita Balesni 세 사람은 모두 안전 ...
