専門家だけでなく、LongCat-Flash-LiteはEmbedding Scalingという新たなパレートのフロンティアに挑戦します

LongCat-Flash-Lite解釈:Nグラム埋め込みを用いたスパースMoEの新しい効率化パス

1. 要旨 LongCat-Flash-Liteは、高スパーシティMoEシナリオを対象としたオープンソースの大規模モデルです。総パラメータは68.5Bですが、1トークンあたり有効化されるのは約2.9B~4.5B程度です。 その主な考え方は、MoE専門家の数を増やし続けるのではなく、特定のスパース区間...