셀프 컨시스턴시(Self-Consistency)는 디코딩 전략이지 새로운 모델이 아니며, 추가 학습도 필요하지 않습니다. 같은 문제에 대해 모델이 사고의 연쇄(Chain-of-Thought)를 이용해 여러 개의 서로 다른 추론 경로를 샘플링하게 한 뒤, 각 경로의 최종 답에 대해 다수결 투표를 하고, 가장 많은 표를 얻은 답을 최종 답으로 삼습니다. 수학이나 객관식 문제처럼 답을 비교할 수 있는 과제에서는 한 번만 계산하는 것보다 더 정확한 경우가 많지만, 이는 모델 스스로 가장 자주 내놓는 답을 고르는 것이지 외부 검증이 아닙니다.
여러 번 계산한 뒤 투표하기: 세 단계는 어떻게 진행될까
먼저 사고의 연쇄 예시로 모델에 프롬프트를 주고, 탐욕 디코딩을 온도 샘플링으로 바꿔 디코더에서 다양한 추론 경로를 샘플링한 뒤, 마지막으로 각 경로의 최종 답을 집계해 가장 자주 등장하는 답을 선택합니다. 논문에서는 PaLM-540B를 40개의 샘플링 경로로 비교했습니다. 초등 수학 문제인 GSM8K에서는 56.5%에서 74.4%로 17.9%포인트 상승했고, SVAMP는 11.0%포인트, StrategyQA는 6.4%포인트, ARC-challenge는 3.9%포인트 향상됐습니다. 옳은 경로는 서로 다른 길로 같은 정답에 이르는 경우가 많고, 틀린 경로는 각기 다르게 틀리기 때문에, 가장 자주 등장하는 답은 효과적인 선택 신호가 됩니다.
사고의 연쇄, 자기 성찰, Best-of-N과는 무엇이 다를까
사고의 연쇄는 추론 경로를 단 하나만 생성해 탐욕 디코딩으로 한 번에 승부를 냅니다. 셀프 컨시스턴시는 그 위에 여러 번 계산한 뒤 투표하는 방식입니다. 자기 성찰은 답을 낸 뒤 다시 점검해 오류를 찾으면 답을 고쳐 쓰는, 즉 '답을 수정하는' 방식입니다. 셀프 컨시스턴시는 어떤 경로도 고치지 않고 투표로 하나를 고를 뿐이며, 피드백 루프가 없습니다. 검증기가 붙은 Best-of-N은 각 경로에 점수를 매길 스코어링 모델을 따로 학습시켜야 하지만, 셀프 컨시스턴시는 스코어링 모델도, 추가 모델도, 사람 손으로 하는 라벨링도 필요 없고 표만 셉니다. 논문은 UL2-20B, GPT-3 175B, LaMDA-137B, PaLM-540B에서 이 방식을 검증했습니다.
언제 효과가 있고, 언제 믿으면 안 될까
두 가지 조건이 동시에 충족될 때만 효과가 있습니다. 최종 답을 추출하고 비교할 수 있어야 하며, 경로 사이에 실제로 다양성이 있어야 합니다. 자유로운 글쓰기나 창의적인 과제에는 투표할 수 있는 유일한 답이 없습니다. 비용도 직접적입니다. 40개 경로를 샘플링하는 비용은 단일 경로의 약 40배이며, 지연 시간과 토큰 비용은 샘플 수와 함께 늘어나고, 샘플이 많을수록 개선 폭은 커지지만 한계 수익은 감소합니다. 간과하기 쉬운 한계가 하나 더 있습니다. 모델이 체계적으로 틀리고 대부분의 경로가 같은 오해를 공유한다면, 투표는 틀린 답을 바로잡는 대신 증폭시킵니다. 다양성이 전제 조건이며, 반드시 온도 샘플링을 써야 합니다. 탐욕 디코딩은 매번 같은 결과를 내기 때문에 투표는 무의미합니다. 판단할 때는 먼저 이렇게 물어보세요. 이 문제에 비교 가능한 유일한 답이 있는가, 모델이 다른 경로로 다른 답에 도달할 가능성이 있는가. 두 답이 모두 '그렇다'일 때만 여러 번 계산할 가치가 있습니다.
