보상 모델은 AI 답변에 점수를 매기는 심판과 같다. 직접 질문에 답하지 않고 모델이 내놓은 답변의 우열을 가려 어떤 답변이 배울 만한지 알려준다. 학습 단계에서는 사람이 같은 질문에 대한 여러 답변에 순위를 매기고, 보상 모델은 그 선호를 학습한다. 이후에는 수천 개의 답변에 자동으로 점수를 매길 수 있고, 모델은 높은 점수 방향으로 조정된다.
무엇을 기준으로 채점하는가
주로 세 가지를 배운다. 문제를 실제로 해결했는지, 표현이 명확하고 충분한지, 안전 경계를 넘지 않았는지이다. 흔한 방법은 쌍 비교이다. 같은 질문에 대한 두 답변을 보여주고 주석자가 더 나은 쪽을 고르면, 모델은 수많은 선택에서 선호를 일반화한다. 점수 자체에는 절대 단위가 없고 상대적인 높낮이만 의미가 있으며, 주석자나 기준이 바뀌면 경향도 바뀐다.
최종 심판이 아니다
채점하는 모델과 대화하는 모델은 역할이 다르다. 전자는 채점만, 후자는 답변만 한다. 채점 모델도 틀릴 수 있다. 내용이 부정확해도 길고 자신감 있는 답변을 선호하거나, 특정 주제에 지나치게 조심스러워 정상적인 답변의 점수를 깎기도 한다. 출시 후 모든 문장을 검사하는 검수자라기보다 학습 단계의 연습 상대에 가깝다.
흔한 세 가지 오해
첫째, 점수가 높다고 사실이 맞는 것은 아니다. 보상 모델이 재는 것은 인간 선호에 부합하는지이지 사실에 부합하는지가 아니다. 둘째, 사람 검토를 대체하지 않는다. 정말 민감한 내용에는 추가 규칙과 사람 확인이 필요하다. 셋째, 채점 기준을 바꾼다고 모델 문체가 즉시 바뀌지는 않는다. 문체 변화는 이후 학습에서 생긴다.
일상에서 느끼는 변화 중 상당수가 이와 관련 있다. 답변이 공손해지고, 항목 나열을 좋아하고, 민감한 질문에는 먼저 거절하는 경향이 있다. 이런 경향은 학습 중 보상 모델이 반복적으로 가점을 준 결과인 경우가 많다. 이를 알면 모델이 왜 단도직입적인 답변보다 신중한 답변을 택하는지 이해할 수 있다.
