전문가 혼합(Mixture of Experts, MoE)은 "매번 전체 모델을 조립하지 않는" 모델 아키텍처입니다. 가장 중요한 기능은 모델의 일부 계층이 여러 전문가 모듈로 나뉘고, 라우터가 현재 토큰이 어떤 전문가를 선택할지 결정한다는 점입니다. 이렇게 하면 모델의 전체 매개변수를 매우 크게 만들 수 있지만, 실제로 한 번에 계산에 참여하는 매개변수는 그리 크지 않아, 수십 또는 수백 개의 B 매개변수가 작성된 많은 인기 모델을 볼 수 있지만, 실제 활성화 매개변수는 훨씬 작습니다.
일반적인 밀집 모델을 모든 전 직원 회의를 갖는 회사로 생각하면, MoE는 "먼저 문제가 어느 부서에 속하는지 확인한 후 관련 전문가를 회의실로 부르는" 식입니다. 모든 전문가가 모든 입력을 다 처리하는 것은 아닙니다. 모델의 경우, 이는 용량이 확장될 수 있지만 단일 추론 계산이 반드시 선형적으로 급증하지는 않는다는 것을 의미합니다.
이것이 바로 지난 2년간 MoE가 뜨거운 근본적인 이유이기도 합니다. 모두가 모델을 더 크게 만들고 지식 용량과 작업 한계를 늘리고 싶어 하지만, 추론 비용이 통제 불능이 되는 것도 원하지 않습니다. MoE는 중간 경로를 제공합니다: 매개변수 규모를 높이고 활성화 계산을 최대한 가깝게 합니다. 믹스트랄 같은 모델이 MoE 논의를 이끌 수 있는 이유는 더 많은 사람들이 '총 매개변수'와 '활성 매개변수'가 동일하지 않다는 것을 알게 하기 때문입니다.
하지만 MoE는 헛된 성과를 내는 것을 의미하지 않습니다. 가장 큰 어려움은 경로에 있습니다. 라우터는 각 토큰마다 어떤 전문가를 찾을지 결정해야 하며, 이는 전문가들이 자신의 전문 지식을 형성할 수 있게 할 뿐만 아니라, 매일 몇몇 전문가가 꽉 차 있고 다른 전문가들이 대기 상태가 되는 상황을 방지하기 위해서입니다. 이러한 불균형을 방지하기 위해 훈련 중에 부하 균형이 자주 추가됩니다. 많은 MoE 모델의 진짜 어려움은 개념이 아니라 훈련 안정성과 공학적 효율성에 있습니다.
MoE가 오해를 잘 받는 또 다른 점은 주로 "활성화당 계산"을 저장한다는 점이지, 배치 난이도는 저장하지 않는다는 점입니다. 전문가가 많아질수록 메모리 점유, 분산 통신, 추론 스케줄링은 더욱 복잡해질 것입니다. 특히 다중 카드 환경에서 전문가들이 통신 부담을 줄이고, 동기화하며, 어떻게 줄이는지가 MoE가 효율성을 높이는지, 혼잡을 유발하는지 결정하는 경우가 많습니다.
그래서 MoE라고 표시된 모델을 보면 매개변수 숫자만 쳐다보지 마세요. 세 가지 더 중요한 질문이 있습니다: 각 토큰은 여러 전문가를 활성화합니다; 훈련과 추론이 안정적인지; 팀에 대응하는 인프라가 갖춰져 있나요? 이러한 조건이 없으면 교육부 계정은 집계되지 않을 수 있습니다.
MoE는 신격화되기에도 적합하지 않습니다. 이는 '변압기보다 더 발전된' 일방향 대체가 아니라, 트랜스포머 시스템 내의 확장 전략입니다. 많은 모델들이 일부 층에서 MoE를 사용하고, 나머지는 여전히 전통적인 구조입니다. 즉, 대형 모델 시대의 확장성과 비용 모순을 해결하기 위한 공학적 해답에 가깝습니다.
MoE가 오늘날에도 여전히 뜨거운 단어인 이유는 논문이 많기 때문만이 아니라, 모두가 마침내 추론 비용과 배포 효과를 진지하게 계산하기 시작했기 때문입니다. 모델이 커지고 컴퓨팅 파워가 점점 더 비싸지면서, "이 계산에 실제로 참여하는 매개변수는 무엇인가"가 가장 현실적인 문제가 됩니다.
