MoE + Nグラム埋め込み:LongCat-Flash-Liteのアーキテクチャの組み合わせの解釈

LongCat-Flash-Lite解釈:Nグラム埋め込みを用いたスパースMoEの新しい効率化パス

1. 要旨 LongCat-Flash-Liteは、高スパーシティMoEシナリオを対象としたオープンソースの大規模モデルです。総パラメータは68.5Bですが、1トークンあたり有効化されるのは約2.9B~4.5B程度です。 その主な考え方は、MoE専門家の数を増やし続けるのではなく、特定のスパース区間...