LongCat-Flash-Liteの「非思考的」ポジショニング:適した作業とそうでない作業

LongCat-Flash-Lite解釈:Nグラム埋め込みを用いたスパースMoEの新しい効率化パス

1. 要旨 LongCat-Flash-Liteは、高スパーシティMoEシナリオを対象としたオープンソースの大規模モデルです。総パラメータは68.5Bですが、1トークンあたり有効化されるのは約2.9B~4.5B程度です。 その主な考え方は、MoE専門家の数を増やし続けるのではなく、特定のスパース区間...