NaiveAI は 2026 年 9 月 27 日、オープンウェイトモデル Naive-N0.5-Flash を公開した。総パラメータ 309B、トークンあたりのアクティブパラメータは 15.5B の混合エキスパート（MoE）モデルで、ネイティブに 100 万トークンのコンテキストウィンドウをサポートし、MIT ライセンスで Hugging Face に公開されている。「全注意力層なし」路線におけるこれまでで最も大胆なエンジニアリングの検証だ。48 層のネットワーク全体に、従来の全注意力を用いた層は一つもない。
全 48 層に全注意力層は一つもない
モデルは 48 層の Transformer を 8 つの 6 層モジュールに分割し、各モジュールに 5 層のスライディングウィンドウアテンションと 1 層の軽量 DeepSeek スパースアテンション（DeepSeek Sparse Attention）を組み合わせ、合計 39 層のスライディングウィンドウ層と 9 層のスパース層で構成される。スライディングウィンドウはわずか 128 トークン、スパース層はバックボーンアテンションのために上位 2048 トークンを選択し、4 グループの KV を用いるグループクエリアテンションと組み合わせる。公式モデルカードの表現は率直だ。ネットワーク全体がローカルまたはスパースに保たれ、全注意力層なしでネイティブ 100 万コンテキストを実現する。
3.25T トークンで学習、ベースは Xiaomi のオープンモデル
学習には合計 3.25T トークンを使用し、すべてネイティブ 100 万コンテキスト長で実施した。スパースインデクサのウォームアップに 50B トークン、スパースアテンション学習に 3T トークン、最後に学習率減衰に 200B トークンを投入している。ベースは Xiaomi のオープンウェイトモデル MiMo-V2.5 で、以前 Xiaomi がオープンソース化した MiMo-V2.6 と同じモデルファミリーの系譜に属する。謝辞には DeepSeek スパースアテンション設計チームと SGLang 推論フレームワークも名を連ねる。Xiaomi がその後発表した MiMo-V3 のコアアーキテクチャ HySparse2 もスパース化路線を歩んでおり、「全注意力を外す」は中国のオープンモデルにおける明確な潮流になりつつある。
「AI で AI を作る」：研究パイプライン自体が売り
パラメータ数以上に注目すべきはその開発手法だ。NaiveAI は付随する技術ブログで、今回の研究・エンジニアリングパイプラインは「大部分が AI システムによって実質的に実行された」と記している。モデル自身がコードを書き、実験を回し、結果を監視して次のイテレーションを提案し、人間の研究者は目標・制約・評価基準の設定と重要な意思決定を担った。技術レポートのタイトルは「Naive-N0.5-Flash: Building Frontier AI with AI」。NaiveAI は今年 2 月に清華大学の戴継峰（Jifeng Dai）教授が北京で創業した、わずか 7 カ月のスタートアップであり、このモデルは「AI が AI を開発する」手法論の最初の成績表とも言える。
速度の数字は華やかだが、すべて自己申告
モデルと同時に自社開発の推論スタック NaiveRT も公開された。メガカーネルフュージョン、Programmatic Dependent Launch、推論的デコーディング、FP8 混合精度を組み合わせ、標準モードでユーザーあたり 50 トークン/秒、Ultrafast モードで最大 2000 トークン/秒をうたう。ただし独立したレビューアはすでに注意を促している。これらは狭い意味でのデコード速度の数字であり、エンドツーエンドの実測ではない。長文脈での精度維持も未検証だ。ホスト API の価格は入力 100 万トークンあたり 0.10 ドル、出力 0.40 ドル、キャッシュ読み取り 0.01 ドルで、対象ワークロードはコーディングと AI 研究開発に絞られている。
この出来事が注目に値する理由は二つある。第一に、「スパースアテンションは全注意力を完全に代替できるか」という問いが、論文上の議論からダウンロードして検証できるエンジニアリングの事実に変わったことだ。全注意力層ゼロで 100 万コンテキストが本当に安定稼働するなら、長文脈モデルのコスト計算は根本から書き換わる。第二に、MIT ライセンスは商用利用の障壁をなくし、309B 総パラメータ・15.5B アクティブという構成は実デプロイコストを中規模密モデル並みに抑える。コードエージェントや長文書 RAG を手がけるチームにとって新たな選択肢になる。冷静に見れば、華やかな数字はすべて現時点では企業側の自己申告であり、真の実力はコミュニティの実測を待つ必要がある。だがオープンウェイトの意義はまさにそこにある。疑わしければ、自分で走らせて確かめればいい。
