MiMo-V2-Flash Hybrid AttentionはKVキャッシュの圧力を低減します

MiMo-V2-フラッシュオープンソース解釈:309B MoE、15B 活性化パラメータ、256Kロングコンテキスト

1. Abstract MiMo-V2-Flashは、Xiaomi MiMoチームによるオープンソースのハイブリッドエキスパート(MoE)大規模言語モデルで、推論中の総パラメータは約309B、活性化パラメータは約15Bで、推論、プログラミング、エージェントワークフローのバランスを低コストで行うことに...