Flintがノートパソコンで動くかどうかは、まずメモリが48GBに達するかどうかから考えましょう。Flintは、Recursiveが2026年10月21日に公開したオープンソースのコーディングモデルで、総パラメータは約39.8B、トークンごとに活性化されるのは約2.5B、モデルカードによればコンテキストは262144トークン、ライセンスはApache 2.0です。公式のローカルルートは明確です。4ビット量子化ウェイトは約22.6GBから22.9GBで、48GB以上の統合メモリまたはGPUメモリが推奨され、Appleシリコンでは公式推論エンジンを動かすのにM4 Pro、M5 Pro、またはM5 Maxが必要です。メモリがその水準に達していなければ、まだダウンロードしてはいけません。ダウンロードしても収まらず、安定して動きません。
Flintが速い理由は活性化量にあります。40Bのパラメータはすべてメモリに収めなければなりませんが、各トークンは約2.5Bしか計算しないため、1ステップの計算量が小さく、M4 Pro上の公式エンジンは短いコンテキストで毎秒125トークンを超えるデコード速度を出せます。速度の数字には条件があります。短いコンテキスト、単一ストリームのデコード、公式エンジンです。コンテキストが長くなるとキー・バリューキャッシュが占めるメモリが増え、速度は下がるため、長いリポジトリのQ&Aは、時間を推定する前に小規模なテストを先に行いましょう。ウェイトの形式も正しく選ぶ必要があります。BF16の全精度は約80GBで、データセンター向けグラフィックスカードを想定しています。ノートパソコンでは公式のINT4またはNVFP4量子化版を使い、コミュニティのGGUF版はツールチェーンがすでにFlintアーキテクチャに対応していることを確認する必要があります。古いllama.cppでは新しいアーキテクチャを認識できない場合があります。Flintはコーディング専用モデルです。コードを書く、リポジトリを調べる、バグを直す、テストを書くのが本業で、日常の雑談や一般的なQ&Aは得意ではありません。全能のチャットモデルと比べないようにしましょう。
試すべき人と、まだ試すべきでない人
試すのに向いているのは、Macで48GB以上のメモリ、または64GBのグラフィックスカードを持ち、ローカルでコーディングエージェントを本当に動かす必要がある人です。公式の量子化ウェイトと公式エンジンから始め、短いコンテキストで動くことを確認してから長くしましょう。まだ試すべきでないのは、メモリ16GBや24GBの普通のノートパソコンのユーザーで、ウェイトが収まらず、無理に動かしてもページングを繰り返し、使いものにならないほど遅くなるだけです。また、たまにコードの質問を2つほどするだけの人も、ホスティングAPIや無料のオンライン入口を使うほうが速いです。決める前に3つを測りましょう。メモリ容量、ディスクの空き容量、扱うリポジトリのコンテキスト長です。3つすべてが基準を満たしてからダウンロードし、1つでも満たさなければまずホスティングサービスを使いましょう。モデルをローカルで動かすと従量課金は節約できますが、ハードウェアと時間がかかります。勘定は一緒に数えましょう。
