主な理由はMiMo-V2-Flash、256Kの入力遅延、そしてグラフィックストレージです

MiMo-V2-フラッシュオープンソース解釈:309B MoE、15B 活性化パラメータ、256Kロングコンテキスト

1. Abstract MiMo-V2-Flashは、Xiaomi MiMoチームによるオープンソースのハイブリッドエキスパート(MoE)大規模言語モデルで、推論中の総パラメータは約309B、活性化パラメータは約15Bで、推論、プログラミング、エージェントワークフローのバランスを低コストで行うことに...