報酬モデルは、AIの回答に点数をつける審判のような存在です。自分で質問に答えるのではなく、モデルが出した回答に優劣をつけ、どの回答を学ぶべきかを教えます。学習時には、まず人間が同じ質問への複数の回答に順位をつけ、報酬モデルがその好みを学習します。その後は数千件の回答に自動で採点でき、モデルは高得点の方向へ調整されていきます。
何を基準に採点するのか
主に学ぶのは三つです。問題を本当に解決しているか、表現が明確で十分か、安全の境界を越えていないかです。よく使われるのはペア比較で、同じ質問への二つの回答を示し、注釈者が良い方を選びます。モデルは大量の選択から好みを一般化します。スコアに絶対的な単位はなく、相対的な高低だけが意味を持ち、注釈者や基準が変われば傾向も変わります。
最終的な審判ではない
採点するモデルと会話するモデルは別々の役割です。前者は採点だけ、後者は回答だけを行います。採点モデルも間違えます。たとえば内容が不正確でも、長くて自信に満ちた回答を好んだり、特定の話題で過度に慎重になり、普通の回答の点数を下げたりします。公開後の全文章の品質検査官というより、学習段階の練習相手に近い存在です。
よくある三つの誤解
第一に、スコアが高いことは事実が正しいこととイコールではありません。報酬モデルが測るのは「人間の好みに合うか」であって、「事実に合うか」ではありません。第二に、人工レビューの代わりにはなりません。本当に繊細な内容には追加のルールと人の確認が要ります。第三に、採点基準を変えればモデルの文体がすぐ変わるわけではありません。文体の変化はその後の学習から生まれます。
日常で感じる変化の多くがこれと関係しています。回答が丁寧になり、箇条書きを好み、繊細な質問には先に断るようになる。こうした傾向は、学習中に報酬モデルが繰り返し加点した結果であることが多いのです。これを知ると、モデルがなぜ率直な答えより慎重な答えを選ぶのかが理解できます。
