スパースアテンションの仕組みと主要な実装、トレードオフを解説。重要なトークンだけに計算を集中させ、長文脈の計算コストとメモリを削減する方法がわかる。
混合エキスパート（MoE）は、フィードフォワードネットワークを複数のエキスパートサブネットワークに置き換え、ルーターがトークンごとに計算を割り当てるモデル構造です。重要なのはエキスパートの数ではなく、スパース活性化です。各トークンは少数のエキスパートだけを通り、残りはそのステップでは働きません。その...
位置エンコーディングは、文中の各単語に付け足される順序の信号で、モデルがどのトークンが先でどれが後かを知るための仕組みです。自己注意は単語同士を比べ合いますが、順序そのものは生まれつき分かりません。位置情報がなければ、「犬が人を噛む」と「人が犬を噛む」は同じ単語の集まりに見えてしまいます。その穴を埋...
NaiveAI は 2026 年 9 月 27 日、オープンウェイトモデル Naive-N0.5-Flash を公開した。総パラメータ 309B、トークンあたりのアクティブパラメータは 15.5B の混合エキスパート（MoE）モデルで、ネイティブに 100 万トークンのコンテキストウィンドウをサポー...
2026年9月24日、Xiaomi の MiMo チームは、次世代モデル MiMo-V3 のコアアーキテクチャ「HySparse2」を公開しました。既に公開されていた初代 HySparse のアップグレード版で、長程・マルチターンのエージェントタスク向けに設計されています。狙いは3つです。Prefi...
