大規模モデルをローカルで動かすにはVRAMはどれだけ必要？8GB・16GB・24GBで何が動くか

大規模モデルをローカルで動かすとき、グラフィックカードのVRAMが足りるかどうかは、モデルをダウンロードする前から体験の上限を決めてしまいます。演算性能ばかり見て、モデルが入らない、入っても短いコンテキストしか使えないと気づく人は少なくありません。VRAMはハードな上限で、少なく買うと後から増やせず、カードごと交換するしかありません。

まず階層で見る：VRAMごとに動くモデル

この表は「快適に動く」基準で、「無理やり入る」基準ではありません。Q4量子化の目安では、7B/8Bの重みは約4.5〜5.5GB、14Bは約9GB、32Bは約19〜20GB、70Bは40GB以上です。重みのほかにコンテキスト、KVキャッシュ、システム用の余裕も必要で、余裕が少ないとメモリ不足や速度低下が起きます。

なぜ演算性能より先にVRAMが詰まるのか

実行時にVRAMを使うのは重みだけではありません。会話が長く、コンテキストが大きいほどKVキャッシュが増えます。モデルファイル自体は入るのに、数ターンでエラーになったり、コンテキストを小さくしすぎて前の内容を忘れたりするのはその典型です。演算性能不足ではなく、重みとキャッシュでVRAMが埋まっているのです。

だから「重みのサイズ＝VRAM」で選んではいけません。14Bなら重み9GBに対して16GBで余裕が生まれ、32Bなら重み19〜20GBに対して24GBが妥当で、16GBは無理を承知の試行です。RTX 5080のように演算性能は高いのにVRAMが16GBしかないカードが批判されやすいのも同じ理由で、速度ではなく容量が先に上限に達します。

主な型番では、RTX 5060 Tiには16GB版があり、RTX 5070は12GB、RTX 5070 TiとRTX 5080は16GB、RTX 5090は32GB、RTX 4090とRTX 3090は24GBです。中古のRTX 3090がコスパの穴場とされるのはその24GBゆえですが、価格は相場で変動するので状態と消費電力を確認してください。

3タイプ別の買い方

試してみたい人

今のカードが8GBや12GBなら、急いで買い替える必要はありません。Q4量子化の7B/8Bでローカルチャットや短文作成は十分体験できます。手軽な始め方として LM Studio：大規模モデルをデスクトップアプリに入れ、ダウンロードしてすぐ話せる手軽さと、メモリ・量子化・選定の3つの代償 を参考に、まず流れを動かしてから、より大きなモデルにお金をかけるか決めましょう。

ローカル運用を真剣に考える人

目標は14B〜32B、16GBが今の甘いゾーンで、24GBならより安定します。普段のコーディングや文書処理、データを手元に置く用途なら14Bで大抵足り、最大モデルに一気に跳ぶ必要はありません。長い文書や長いコンテキストをよく扱うなら、最初から24GBにして調整の繰り返しを省くのが賢明です。

大モデルをいじりたい人

70Bを狙うならコスト増は覚悟してください。コンシューマーカード1枚ではVRAMが足りず、デュアルカードか統一メモリの多いプラットフォームを考えることになります。40系・50系のコンシューマーカードにはNVLinkがなく、マルチカードの拡張性とソフト対応には限りがあるので、2枚買えば単純に倍になると考えず、使う推論フレームワークの対応を先に確認してください。

割に合わない買い方と代替路線

チャットのためだけにRTX 5090を買うのは典型的な無駄です。32GBのVRAMも演算性能も使い切れず、冷却と電源のコストだけが付いてきます。逆に、将来大モデルを動かすつもりで8GBの新品を無理に買うのも割に合いません。VRAM不足は設定では補えません。

代替路線は2つあります。1つはApple Macの統一メモリで、64GBや128GBの機種ならより大きなモデルが入り、Mac環境の人に向きますが、速度、量子化形式、ツールの生態系はNカードと異なるのでグラボの経験はそのまま使えません。もう1つはクラウドAPIで、たまに使うだけで品質を重視する人には、大VRAMのカードを買うより安くつくことが多いです。ローカル運用の価値はプライバシー、オフライン利用、大量利用時のコスト管理にあり、この3つに当てはまらないなら、カード購入は急がなくて構いません。