희소 활성화

하이브리드 전문가(MoE)란 무엇인가요? 왜 많은 인기 모델들은 매개변수가 크지만 활성화량은 그리 크지 않을까요?

전문가 혼합(Mixture of Experts, MoE)은 "매번 전체 모델을 조립하지 않는" 모델 아키텍처입니다. 가장 중요한 기능은 모델의 일부 계층이 여러 전문가 모듈로 나뉘고, 라우터가 현재 토큰이 어떤 전문가를 선택할지 결정한다는 점입니다. 이렇게 하면 모델의...