ToolNavs 유용한 AI 도구 찾기
도구 제출 로그인

AI 가드레일

모델에게 스스로를 지키게 하는 것은 안전 경계가 아닙니다. 가드레일을 몇 겹으로 나눠야 하는지, 프롬프트 인젝션이 어디로 들어오는지, 권한과 승인을 왜 모델 밖의 결정적 코드에 두어야 하는지 풀어봅니다.

시스템 프롬프트는 사용자 입력과 같은 언어 공간에 있어 주입과 유도로 판단이 바뀝니다. 그래서 가드레일은 모델 밖에 두고, 입력에서 파일과 지시를 검사하고, 도구 호출은 허용 목록으로 좁히고, 고위험 동작에는 승인을 넣습니다. Constitutional Classifiers++는 추가 연산을 약 1%로 유지합니다. 공격을 다 막지는 못하지만 실패는 권한 안에 갇힙니다.