"제로 환각" TypeSafe AI는 Jev가 미리 정의된 유형 외의 콘텐츠를 반환하지 않는다는 사실을 의미하며, 이는 모든 비즈니스 판단이 100% 옳다는 의미는 아닙니다. Choice가 옵션 256을 아무렇지 않게 만들지 않고, Score도 무효 평가를 반환하지 않지만, 정당한 옵션 중에서 잘못된 선택을 할 수 있습니다. 출시 시에는 확률, 신뢰도, 테스트 세트, 수동 검토를 통해 위험을 통제해야 합니다.
무엇을 보장할 수 있을까요?
Jev의 답변 공간은 요청으로 미리 정의되어 있어, 프로그램이 갑자기 해결되지 않은 채팅, 가상의 도구 이름, 오류 필드 유형을 받을 걱정을 하지 않아도 됩니다. "타입 없는 오류"에 대한 공식적인 설명은 구조적 보장으로, 자동화 시스템에서 흔히 발생하는 파싱 실패와 경계 밖 출력 문제를 해결합니다.
그리고 보장할 수 없는 것은 무엇일까요?
모델은 여전히 모호한 지시를 오해하거나, 간접적인 관계를 무시하거나, 길고 관련 없는 정보에 산만해질 수 있습니다. Jev 1.13에서 공식적으로 언급된 약점에는 정확한 계산, 수학, 날짜 비교, 복잡한 간접 추론, 적대적 내용, 그리고 충돌 기준이 있습니다. 올바른 구조, 올바른 사실, 올바른 판단은 서로 다른 세 가지입니다.
| 결과 | 종류가 합법인지 여부 | 신뢰성 판단 |
|---|---|---|
| 청구 및 기술에서 청구 반환 | 법적 | 여전히 뉴스의 내용과 확률에 따라 다릅니다 |
| 미정의 반환 legal_team | 불법 | JEV의 타입 제약 조건이 이를 차단합니다 |
| 신뢰가 낮을 때는 자동 환불이 여전히 가능합니다 | 수출은 합법일 수 있습니다 | 비즈니스 전략은 안전하지 않습니다 |
자신감은 어떻게 사용해야 할까요?
Choice와 Score는 확률 분포를 반환하며 0에서 1까지의 신뢰도를 제공합니다; Noul은 추가 신뢰 없이 "예"의 확률을 직접 반환합니다. 임계값에 대한 보편적인 답은 없습니다; 이는 오판의 비용을 기준으로 설정되어야 합니다: 콘텐츠 권고는 비교적 관대할 수 있지만, 환불, 금지, 의료 전환은 더 보수적이어야 합니다.
시스템은 세 단계로 설계할 수 있습니다: 고신뢰도의 자동 실행, 수동 검증을 위한 중간 영역 전송, 그리고 자동 행동 또는 안전 경로로의 낮은 신뢰도의 거부. 임계값은 실제 샘플을 사용하여 디버깅해야 하며, 데모 번호에서 직접 복사할 수 없습니다.
오판을 줄이는 네 가지 방법
- 각 질문은 단 하나의 판단만을 나타내며, 경계 조건은 기준에 명시되어 있습니다.
- 먼저, 관련 없는 맥락을 걸러내고 결정을 내리는 데 필요한 상태만 보내세요.
- 수학, 계산, 날짜, 권한 규칙은 결정론적 코드로 처리됩니다.
- 고정 모델 버전이 회귀 집합으로 설정되고, 오차 분포와 임계값을 비교한 후 업그레이드합니다.
따라서 '제로 환상'은 모델이 절대 실수를 하지 않는 능력을 얻는 것이 아니라 타입 경계를 넘지 않는 출력으로 이해할 수 있습니다. 이 경계를 아키텍처에 기록함으로써 TypeSafe는 자동화 신뢰성을 진정으로 향상시킬 수 있습니다.
