MiMo-V2-Flash에서 SGLang을 이용한 추론 배포 단계

MiMo-V2-Flash 오픈 소스 해석: 309B MoE, 15B 활성화 매개변수 및 256K 긴 문맥

1. 추상 MiMo-V2-Flash는 Xiaomi MiMo 팀의 오픈 소스 하이브리드 전문가(MoE) 대형 언어 모델로, 총 매개변수 약 309B, 추론 중 활성화 매개변수 약 15B를 가지며, 추론, 프로그래밍, 에이전트 워크플로우를 낮은 추론 비용으로 균형 있게 조...