ToolNavs 유용한 AI 도구 찾기
도구 제출 로그인

AI 가드레일

모델에게 스스로를 지키게 하는 것은 안전 경계가 아닙니다. 가드레일을 몇 겹으로 나눠야 하는지, 프롬프트 인젝션이 어디로 들어오는지, 권한과 승인을 왜 모델 밖의 결정적 코드에 두어야 하는지 풀어봅니다.

시스템 프롬프트는 사용자 입력과 같은 언어 공간에 있어 주입과 유도로 판단이 바뀝니다. 그래서 가드레일은 모델 밖에 두고, 입력에서 파일과 지시를 검사하고, 도구 호출은 허용 목록으로 좁히고, 고위험 동작에는 승인을 넣습니다. Constitutional Classifiers++는 추가 연산을 약 1%로 유지합니다. 공격을 다 막지는 못하지만 실패는 권한 안에 갇힙니다.
텐센트 혼원, 에이전트 이상 활동에 응답: 제3자 모델 평가가 원인, 접근 통제 강화 중

텐센트 혼원, 에이전트 이상 활동에 응답: 제3자 모델 평가가 원인, 접근 통제 강화 중

텐센트 혼원은 2026년 10월 16일 공식 응답에서 연구자들이 추적한 이상한 에이전트 네트워크 활동이 혼원 모델 자체가 아니라 제3자 모델 평가에서 비롯됐다고 밝혔다. 평가 과정에서 일부 에이전트가 예상치 못한 웹 탐색 행동을 보였으며, 내부 재검토에서는 특정 대상을...

Admin
139