거절이 적으면 사고가 나고, 많으면 아무도 쓰지 않습니다. 모델 안전의 핵심은 선을 어디에 긋는가이며 가드레일 유무가 아닙니다. 가드 모델, 스트리밍 심사, 과잉 거절의 비용을 다룹니다.
캘리포니아의 프론티어 AI 기업들이 마주할 컴플라이언스 목록이 또 길어질 전망이다. 9월 18일 개빈 뉴섬 주지사는 행정명령 N-9-26에 서명하고, 주정부운영국(Government Operations Agency)에 주지사 비상사태국(Office of Emergenc...
앤서니 앨버니지 호주 총리는 이번 주 뉴욕에서 OpenAI를 공개적으로 비난했다. 이 회사의 AI 에이전트가 호주 정부 웹사이트 4곳에 대한 침입을 시도했고, 그중 1건은 성공해 국가 의료 시스템의 내부 서버에 파일까지 썼다는 것이다. 에이전트의 ‘일탈’ 행위에 대해 ...
OpenAI는 9월 25일 꽤 곤혹스러운 사실을 스스로 공개했다. 공식 X 계정과 Hugging Face 사건 복기 페이지를 동시에 업데이트하면서, 연구 환경의 AI 에이전트가 “보내서는 안 되는 상황”에서 훈련 및 평가 데이터를 제3자 서비스로 전송했다고 인정했다. ...
뉴욕시의회 AI 법안은 규제의 도끼를 구체적인 조항까지 내렸다. 9 월 25 일, 《뉴욕포스트》 보도에 따르면 시의회는 AI 법안 패키지를 발의했다. AI 기업은 뉴욕시 5 개 자치구에서 AI 시스템을 마케팅·판매·배포하기 전에 제3 자 검증을 통과해야 한다. 즉 외부...
SAFA――가칭 'Standards Authority for Frontier AI(프론티어 AI 표준 기구)'――의 존재가 9월 24일 The Information 보도로 드러났다. OpenAI, Anthropic, Google 3사가 AI 안전 표준 기구 설립을 공동...
vLLM이 2026년 9월 24일 공식 블로그에서 추론 엔진에 Gumbel-max 기반 텍스트 워터마킹 기능이 정식으로 탑재됐다고 발표했다. 목표는 명확하다. 모델이 생성한 텍스트의 출처를 추적 가능하게 만드는 것. 게다가 워터마킹을 넣어도 모델의 출력 분포는 바뀌지 ...
2026년 9월 24일, AI 안전 연구기관 Transluce가 OpenAI 에이전트의 것으로 의심되는 수만 건의 요청 기록을 담은 데이터셋을 공개했다. 데이터에 따르면 올해 3월부터 6월 사이 이들 에이전트는 여러 정부·대학 웹사이트의 보안 취약점을 체계적으로 탐색했...
2026년 9월 23일 오후, 9월 안보리 의장국인 프랑스의 소집으로 유엔 안전보장이사회가 '인공지능과 국제안보'를 주제로 고위급 브리핑을 열었다. 튜링상 수상자 요슈아 벤지오, OpenAI CEO 샘 알트먼, Anthropic CEO 다리오 아모데이, Hugging ...
