LongCat-Nextとエンコーダのスプライシング方式

LongCat-Next オープンソースリリース:テキスト、画像、音声を統合するネイティブのマルチモーダルモデル

- 要旨 LongCat-Nextは、MeituanのLongCatチームによるオープンソースの離散ネイティブ自己回帰マルチモーダルモデルで、テキスト、ビジュアル、音声を同じフレームワークで統合することを目指しています。 本プロジェクトはMoEアーキテクチャを採用しており、総パラメータは約68.5B...