온도와 Top-p는 모두 모델의 "다음 단어 선택법"을 제어합니다. 간단히 말해, 이들은 답변의 보수성과 차이에 영향을 미칩니다. 온도가 낮을수록 모델은 가장 안정적인 단어를 선택하는 경향이 있습니다; 온도가 높을수록 모델은 다양한 표현식을 실험하는 데 더 많은 용기를 냅니다. Top-p는 "어떤 후보 단어를 유지할지"에 대한 필터를 제공합니다.
이 두 매개변수는 생성 시점의 무작위성을 조절하기 때문에 종종 함께 올라갑니다. AI가 때로는 안정적이고, 때로는 불안정하며, 그 많은 부분이 AI와 관련이 있습니다. 저온은 요약, 정보 추출, 고정 형식 출력에 더 적합합니다; 높은 온도는 창의성, 영감, 그리고 열린 글쓰기에 더 적합합니다.
스타일 노브에 가깝습니다
| 매개변수 | 수치가 낮을 때 | 높을 때 |
|---|---|---|
| 온도 | 더 안정적이고, 더 보수적이며, 더 표준적인 답변에 가깝습니다 | 더 다양하고, 더 변화하며, 새로운 방식으로 표현하기 쉬워졌다 |
| 탑-p | 높은 확률을 가진 후보자 중 소수만 남는다 | 더 많은 후보자를 유지하고 표현의 여지를 더 많이 확보하세요 |
많은 사람들이 이렇게 물어볼 것입니다: 두 가지 모두 볼륨을 높여서 답변하는 것이 더 현명한가요? 아니었다. 지능이 아니라 산출 분포를 조정합니다. 모델 자체가 이로 인해 강해지는 것이 아니라, 오히려 더 보수적이거나 자유로워질 뿐입니다. 일반적으로 더 보수적인 상부 p를 가진 저온이 안정적인 출력에 적합하며; 더 창의적으로 행동하고 싶을 때는 점진적으로 놓아주세요. 대부분의 일일 Q&A에서는 무작정 발산을 추구하기보다는 먼저 거절하는 것이 더 실용적입니다.
실제로 이해하는 방법
- 요약, 표, 분류를 만들 때는 보통 답변이 안정적이어야 하고 매개변수가 너무 과도하게 설정되지 않아야 합니다.
- 브레인 브레이킹, 제목, 카피라이팅, 캐릭터 설정 등을 통해 더 큰 차이를 만들 수 있습니다.
- 만약 답이 여기저기 흩어지기 시작한다면, 모델을 탓하지 말고 무작위성이 너무 높게 설정되어 있는지 확인하세요.
요약: 온도와 Top-p는 'AI를 더 똑똑하게 만들기'를 위한 버튼이 아니라 'AI를 더 안정시키거나 더 발달적으로 만드는 것'을 위한 조절자입니다.
