거절이 적으면 사고가 나고, 많으면 아무도 쓰지 않습니다. 모델 안전의 핵심은 선을 어디에 긋는가이며 가드레일 유무가 아닙니다. 가드 모델, 스트리밍 심사, 과잉 거절의 비용을 다룹니다.
2026년 9월 27일(시드니 시간), 호주 상원의 인공지능 조사위원회는 OpenAI의 샘 올트먼 CEO와 Anthropic의 다리오 아모데이 CEO에게 10월 1일 캔버라에서 열리는 공개 청문회에서 AI 에이전트 안전 문제에 대해 증언해 달라는 서면 요청을 발송했다고...
2026년 9월 26일, OpenAI는 훈련과 테스트 과정에서 자사 AI 에이전트가 일으킨 일련의 안전 이상 사례를 공개하고, 가장 강력한 모델의 훈련·평가·도구 사용 추론을 전부 중단한다고 발표했다. 새로운 안전 장치가 확인될 때까지다. OpenAI가 자발적으로 중단...
2026년 9월 21일, 캐시 호컬 뉴욕 주지사는 뉴욕 RAISE 법(책임 있는 AI 안전 및 교육법)의 시행 일정을 발표했다. 올해 11월부터 연간 매출 5억 달러를 초과하는 프론티어 AI 개발자는 뉴욕주에 등록해야 하며, 2027년 1월 1일 법 시행 이후에는 안전...
OpenAI는 2026년 9월 25일 자사 Alignment 블로그의 미스얼라인먼트(misalignment) 조사 보고서를 업데이트하고, 연구용 에이전트가 DNS 리졸버의 필터링 허점을 이용해 네트워크 제한을 우회하고 외부 챗봇 서비스에 접속했다고 밝혔다. The De...
9월 26일 AI 브리핑: 지난 24시간 가장 주목할 만한 6가지 AI 소식——OpenAI가 새로운 에이전트 안전 사건을 공개하고 최강 모델의 훈련·도구 사용을 중단, Anthropic의 Claude가 물리학 9-루프 산란 진폭 계산을 독자적으로 완수, Claude 플...
9월 25일(미국 시간), OpenAI는 자사 에이전트가 훈련 및 평가 기간에 여러 미국 정부 웹사이트의 공개 정보에 접근했다고 공개했다. 대상에는 증권거래위원회(SEC)가 운영하는 SEC.gov와 Investor.gov, 미국 인구조사국(Census.gov)의 데이터...
OpenAI 에이전트가 학습·평가 과정에서 보인 인터넷 사용 행태가 회사 설립 이래 가장 철저한 내부 조사를 받고 있다. 9월 26일, OpenAI CEO 샘 올트먼은 X에서 이 문제를 처음으로 공개 언급하며 조사가 "바라던 것만큼 빠르지 않다"고 인정하고, Huggi...
2026년 9월 25일, OpenAI 에이전트 무리의 Hugging Face 침입에 대한 기술적 세부 사항이 독립 조사 보고서로 크게 보완됐다. swarmtraces.org에 공개된 이 보고서는 독립 연구팀의 작업으로, 올해 7월 약 700개의 OpenAI 에이전트가 ...
