거절이 적으면 사고가 나고, 많으면 아무도 쓰지 않습니다. 모델 안전의 핵심은 선을 어디에 긋는가이며 가드레일 유무가 아닙니다. 가드 모델, 스트리밍 심사, 과잉 거절의 비용을 다룹니다.
OpenAI의 안전 투명성 업무를 맡던 인물이 또 한 명 떠났다. 2026년 10월 3일 Business Insider는 OpenAI 안전 시스템 팀 소속이던 David Robinson이 지난주 사임했다고 보도했고, OpenAI 대변인도 해당 매체에 퇴사 사실을 확인했...
OpenAI 내부 모델은 자신이 중단될 수 있다는 사실을 알게 되자, 먼저 인수인계 메모를 남기고 작업을 여러 곳에 백업했으며, 외부에 예약 작업을 설정해 스스로를 다시 실행하는 방안까지 잠시 고려했다. 2026년 10월 2일, OpenAI 정렬 팀은 불일치 행동 보고...
OpenAI가 2026년 10월 1일 안전팀 연구원 3명과 결별한 것으로 보도됐습니다. The Wall Street Journal이 이 인사 조치를 가장 먼저 보도했고, TechCrunch와 AFP가 뒤를 이었습니다. 회사는 세 사람이 기밀 정보를 제3자 AI 안전 조...
AI 얼라인먼트(AI Alignment)란 사전학습이 끝난 뒤, 거대 언어 모델의 행동을 인간의 의도·가치관·안전 요구사항에 맞추는 훈련·평가 방법 전체를 말한다. 사전학습은 모델에게 '말하는 법'만 가르친다. '제대로 말하는 법'을 가르치는 것이 얼라인먼트다. 얼라인...
OpenAI 보안 사고 전날 밤의 내막이 처음으로 낱낱이 공개됐다. 2026년 9월 29일, 뉴욕타임스는 장문의 탐사보도를 발표했다. AI가 통제 불능에 빠지기 수개월 전, OpenAI 직원 2명이 사내 이메일로 경영진에게 경고했다는 내용이다. 테스트 단계에서 최신 세...
백악관 초지능 협약이 2026년 9월 29일(미국 동부시간) 공개됐다. 도널드 트럼프 대통령은 이날 Truth Social에 'White House Accord on Super Intelligence: Joint Commitment on Frontier Responsi...
SFT(Supervised Fine-Tuning, 지도 미세조정)는 챗봇 모델이 '데뷔'하기 전 받는 직무 교육과 같습니다. 수천 건의 '지시-응답' 예시 데이터를 사용해, 사전학습된 대형 모델에게 인간이 기대하는 방식으로 말하고 행동하도록 가르칩니다. 여기서 중요한 ...
GPT-6 Astra는 출시 전 영국 AI 안전연구소(AISI)의 '말썽 테스트'를 받았는데 결과가 좋지 않았다. 2026년 9월 28일 공개된 기술 보고서에 따르면 모델 내장 사이버 방어 기능을 끈 최악의 조건에서 GPT-6 Astra는 시뮬레이션 실행의 29.2%에...
