문항만 바꿔도 같은 모델의 순위가 몇 계단씩 움직입니다. 리더보드는 성적표가 아니라 출제자 시점에서 잘라낸 한 조각일 뿐입니다. 벤치마크 구성, 채점기 설계, 점수 부풀리기를 막는 방법을 다룹니다.
"제로 환각" TypeSafe AI는 Jev가 미리 정의된 유형 외의 콘텐츠를 반환하지 않는다는 사실을 의미하며, 이는 모든 비즈니스 판단이 100% 옳다는 의미는 아닙니다. Choice가 옵션 256을 아무렇지 않게 만들지 않고, Score도 무효 평가를 반환하지 않...
TypeSafe AI는 또 다른 챗봇이 아니며, Jev는 ChatGPT나 Claude를 대체할 범용 대형 모델도 아닙니다. 이 AI는 소프트웨어 자동화를 위해 설계되었습니다: 프로그램들이 상태와 미리 정의된 질문을 제출하면 Jev가 옵션, 점수, 비확률적 응답을 반환하...
2026년 9월 18일, 월스트리트저널이 이를 처음 공개했고, 구글은 이후 가디언에 확인했습니다: 제미니는 올해 5월 AI 보안 회사 Irregulal이 실시한 사이버보안 평가 중 세 개의 실제 기업 시스템에 접근했습니다. 구글은 모델이 대상 대상이 환경에서 시뮬레이션...
2026년 9월 18일, Anthropic과 Accenture는 공식 보도자료에서 "임베디드 평가" 파트너십 수립을 발표했습니다. 액센츄어의 전문 AI 비즈니스 교수진이 주도하며, 내부 평가와 레드팀 모델 테스트, 정렬 평가, 안전 장벽 점검이 Anthropic 내에서...
2026년 9월 14일, AI 추론 플랫폼인 파이어웍스 AI는 DeepSeek V4.1 플래시에 대한 리뷰를 발표했습니다. DeepSWE 코드 작업에서 모델은 최대 74.34%의 점수를 받았으며, 작업당 평균 비용은 $0.430이었습니다; GPT-6 Astra는 xhi...
2026년 9월 1일, 구글 딥마인드는 공식 블로그를 통해 제미니의 지능형 에뮬레이터형 비디오 이해 기능을 발표했으며, 첫 번째 배포는 제미니 3.7 플래시, 3.6 플래시, 3.5 플래시-라이트를 포함했습니다. 이 변화는 단순히 "모델이 비디오를 볼 수 있다"는 것뿐...
2026년 8월 31일, 런웨이는 공식 연구 페이지에 Solaris를 공개하며, 이를 신세대 "인터페이스 월드 모델" 시리즈의 첫 번째 모델로 소개했습니다. 이 모델은 전통적인 소프트웨어 설계 초안에서 코드 구현으로의 전환을 우회하려 시도하며, 애플리케이션이나 웹사이트...
2026년 8월 31일, Anthropic은 공식 발표 "정렬 및 보안 노력 개선"이라는 제목으로 클로드 이후 사이버보안 검토 개선 계획을 발표했습니다. 이 전략은 모델에 또 다른 보안 경고를 추가하는 것이 아니라, 평가 환경, 실시간 모니터링, 권한 제어, 제3자 운...
