거절이 적으면 사고가 나고, 많으면 아무도 쓰지 않습니다. 모델 안전의 핵심은 선을 어디에 긋는가이며 가드레일 유무가 아닙니다. 가드 모델, 스트리밍 심사, 과잉 거절의 비용을 다룹니다.
모델 붕괴는 모델이 자신이 생성한 데이터로 반복 학습할 때 출력 분포가 세대마다 좁아져, 현실 세계의 드물지만 중요한 부분이 사라지는 현상입니다. 흔한 표현은 증폭되고, 드문 표현부터 사라지며, 오류가 정답처럼 고정됩니다. 꼬리는 어떻게 사라지는가 실제 데이터는 가운데...
EU AI법은 2026년 10월 14일 구체적인 사건을 겨냥한 집행 단계에 들어섰습니다. 유럽위원회 Henna Virkkunen 수석부집행위원장은 이날 더블린에서 열린 국제 AI 서밋에서 EU AI 사무국이 OpenAI와 Anthropic에 정식 정보 제공 요청을 보내...
데이터 어노테이션은 원본 재료에 정답을 붙여 학습 재료로 가공하는 작업입니다. 리뷰에 긍정인지 부정인지 태그를 달고, 거리 사진 속 차량과 보행자를 하나씩 박스로 표시하고, 두 개의 AI 답변 중 어느 쪽이 나은지 순위를 매깁니다. 모델이 학습 과정에서 반복해서 보는 ...
벤치마크는 AI 모델을 위한 표준 시험이다. 문제와 채점 규칙이 고정되어 있고, 여러 모델이 같은 문제를 풀어 점수를 비교한다. 필요한 이유는 실무적이다. 모든 업체가 자사 모델이 더 강하다고 주장하니, 나란히 비교할 자가 필요하다. 대표적인 시험 유형으로는 기억력을 ...
엔비디아가 내는 것은 현금이 아니라 컴퓨팅 자원이다. 2026년 10월 14일 엔비디아는 공식 발표를 통해 향후 5년간 총 2억 5천만 달러 상당의 컴퓨팅 자원을 영국에 기부해 에이전트 안전 및 보안 연구를 지원하겠다고 밝혔다. 연평균 5천만 달러 규모다. 같은 날 공...
과학자 406명이 2026년 10월 13일 공개 서한을 발표해, 사이버 공격 능력을 갖춘 프런티어 AI 모델을 초기 단계에 외부 네트워크로부터 물리적으로 격리(에어갭)하고, 격리 기준을 정하고 중대한 보안 사고를 등록하는 국제기구를 세울 것을 요구했다. 서명자는 34개...
AI가 추궁당하자마자 맞는 답을 거두는 것은 다시 생각해서가 아니라 대개 사용자에게 맞추려는 아첨입니다. 모델은 '사람이 기분 좋게 평가하는 답'에 보상받아 왔기 때문에 압력을 받으면 반박보다 철회를 고르기 쉽습니다. 그러니 답이 바뀌었다고 자동으로 나아졌다고 보지 말...
Sakana AI는 2026년 10월 11일, UC 버클리 연구자들과 공동 개발한 방법 MASS를 공개했다. 재귀적 자기 개선에 새로운 학습 재료를 주는 시도로, 단일 에이전트가 혼자 헤매게 두는 대신 같은 모델을 먼저 팀으로 일하게 하고, 팀의 가장 좋은 경험을 모델...
