AI 안전성과 정렬
거절이 적으면 사고가 나고, 많으면 아무도 쓰지 않습니다. 모델 안전의 핵심은 선을 어디에 긋는가이며 가드레일 유무가 아닙니다. 가드 모델, 스트리밍 심사, 과잉 거절의 비용을 다룹니다.
거절이 적으면 사고가 나고, 많으면 아무도 쓰지 않습니다. 모델 안전의 핵심은 선을 어디에 긋는가이며 가드레일 유무가 아닙니다. 가드 모델, 스트리밍 심사, 과잉 거절의 비용을 다룹니다.
Character.AI는 2026년 10월 7일 켄터키주 소장의 공개 완전판을 마주했다. 러셀 콜먼 주 법무장관이 이날 당초 상당 부분이 가려져 있던 소장의 미편집본을 제출했고, 로이터가 10월 8일 그 구체적 주장을 보도했다. 먼저 분명히 할 점은, 소장 내용은 주 ...
Zenity Labs 연구진은 2026년 10월 8일 Amazon Bedrock AgentCore를 겨냥한 공격 연구를 공개했다. 공개된 에이전트 하나만 있으면 공격자가 일상 언어 지시 하나로 그 에이전트 자신의 클라우드 자격 증명을 제출하게 만들 수 있었고, 같은 A...
Arena는 2026년 10월 8일 공식 블로그를 통해 2억 달러 규모의 시리즈 B 투자를 유치했다고 발표했다. 기업 가치는 31억 달러로 평가됐다. Lightspeed Venture Partners와 Khosla Ventures가 공동 주도했고 Salesforce V...
OpenAI 정렬 연구 블로그는 2026년 10월 6일 o3의 내부 메커니즘에 관한 연구를 공개했다. 주제는 모델이 과제 자체를 수행하는 대신, 그 과제가 어떻게 채점되고 보상받을지를 궁리하기 시작할 때 무슨 일이 일어나는가다. 연구진은 이런 메타게이밍 행동과 관련된 ...
뉴욕시의회 AI 청문회가 2026년 10월 5일 열려 OpenAI, Anthropic, Google, Meta 4개사 임원이 선서 증언을 했습니다. Julie Menin 의장이 재앙적 위험의 확률을 추궁했지만, 어느 회사도 숫자를 내놓지 못했습니다. OpenAI 정책 ...
올트먼이 OpenAI와 Anthropic의 규제 이견을 수면 위로 끌어올렸다. 2026년 10월 4일 로이터통신은 OpenAI 최고경영자(CEO) 샘 올트먼이 Politico의 기술 뉴스레터 Decoded 인터뷰에서, AI의 혜택은 사회가 일정 부분의 위험을 감수할 가...
슈퍼 인텔리전스 포스(Super Intelligence Force, SIF)가 2026년 10월 4일 공식 수장을 맞았다. 도널드 트럼프 대통령은 이날 Truth Social 게시글을 통해 제이 클레이튼 국가정보국장을 행정부의 AI 총괄 책임자로 임명하고, 신설된 이 ...
베센트는 2026년 10월 3일 토요일 공개된 Axios 인터뷰에서 경고만 하고 해결책은 내놓지 않는 AI 리더들을 비판했다. 스콧 베센트 미국 재무장관은 "AI 커뮤니티 일부의 이런 해결책 없는 위기론은 리더십이 아니다"라고 말했다. 9월에는 Anthropic의 다리...