LongCat-Flash-Liteの解説:nグラム埋め込みがスパースMoEの効率曲線をどのように書き換えるか

LongCat-Flash-Lite解釈:Nグラム埋め込みを用いたスパースMoEの新しい効率化パス

1. 要旨 LongCat-Flash-Liteは、高スパーシティMoEシナリオを対象としたオープンソースの大規模モデルです。総パラメータは68.5Bですが、1トークンあたり有効化されるのは約2.9B~4.5B程度です。 その主な考え方は、MoE専門家の数を増やし続けるのではなく、特定のスパース区間...