Mistral3 대형 희소 전문가 MoE 구조

Mistral 3 오픈 소스 모델 패밀리: 다중 모달, 다국어 및 온프레미스 배포를 위한 새로운 선택

1. Abstract Mistral 3는 Mistral AI가 출시한 새로운 세대의 오픈 소스 모델 계열로, 드문 전문가 아키텍처를 가진 Mistral Large 3와 로컬 및 엣지 시나리오용 Ministral 3 시리즈(3B/8B/14B)를 포함합니다. 모든 가중치는...