セルフコンシステンシー（Self-Consistency）はデコード戦略であり、新しいモデルではなく、追加の学習も不要です。同じ問題に対して、モデルにチェーン・オブ・ソート（Chain-of-Thought）で複数の異なる推論パスをサンプリングさせ、各パスの最終回答について多数決を取り、最も票を集めた回答を最終回答とします。数学や選択問題など、答えを比較できるタスクでは、1回だけ計算するより正確になることが多いのですが、選ばれるのはモデル自身が最も頻繁に出す回答であり、外部の検証ではありません。
複数回計算して投票する：3つのステップはどう進むのか
まずチェーン・オブ・ソートの例でモデルにプロンプトを与え、次に貪欲デコーディングを温度付きサンプリングに置き換えて、デコーダーから多様な推論パスをサンプリングし、最後に各パスの最終回答を集計して、最も頻出するものを採用します。論文では PaLM-540B を 40 本のサンプリングパスで比較しました。小学算数の GSM8K では 56.5% から 74.4% へと 17.9 ポイント向上し、SVAMP は 11.0 ポイント、StrategyQA は 6.4 ポイント、ARC-challenge は 3.9 ポイント向上しました。正しいパスは異なる経路から同じ正解にたどり着くことが多く、誤ったパスはそれぞれ異なる形で間違えるため、最も頻出する回答は有効な選択シグナルとなります。
チェーン・オブ・ソート、自己反省（セルフ・リフレクション）、Best-of-N との違い
チェーン・オブ・ソートは推論パスを1本だけ生成し、貪欲デコーディングで一度に決着をつけます。セルフコンシステンシーはその上に複数回計算して投票する仕組みです。自己反省は回答後にチェックし、誤りを見つけて回答を書き換える、つまり「回答を修正する」ものです。セルフコンシステンシーはどのパスも修正せず、投票で1つを選ぶだけで、フィードバックループはありません。検証器付きの Best-of-N は、各パスに点数を付けるスコアリングモデルを別途学習させる必要がありますが、セルフコンシステンシーはスコアリングモデルも追加モデルも人手のアノテーションも不要で、票数を数えるだけです。論文では UL2-20B、GPT-3 175B、LaMDA-137B、PaLM-540B でこの手法が検証されています。
いつ有効で、いつ頼るべきでないのか
有効になるには2つの条件が同時に満たされる必要があります。最終回答を抽出・比較できること、そしてパス間に実際に多様性があることです。自由記述や創造的なタスクには、投票できる唯一の答えがありません。コストも直接的です。40 本のパスをサンプリングするコストは1本の約 40 倍で、遅延とトークン費用はサンプル数とともに増え、サンプルが多いほど改善は大きくなりますが、限界収益は逓減します。見落とされがちな境界がもう1つあります。モデルが体系的に間違っており、多くのパスが同じ誤解を共有している場合、投票は誤った回答を修正するのではなく増幅します。多様性が前提であり、温度付きサンプリングが必須です。貪欲デコーディングでは毎回同じ結果になるため、投票は無意味です。判断するときはまずこう問いましょう。この問題には比較可能な唯一の答えがあるか、モデルは別の経路で異なる答えにたどり着く可能性があるか。両方ともイエスなら、複数回計算する価値があります。
