Edge0-145Bをローカルで動かすには：145BモデルをノートPCに入れる前にメモリ計算を済ませよう

Edge0-145Bをローカルで動かせるかどうかは、メモリ計算が合うかどうかで決まります。公式の29GBという数字はGPU側のピークメモリを指すもので、PC全体が29GBのメモリで済むという意味ではありません。145BパラメータのMoEモデルで、1ステップの推論に実際に使われるのは約10Bパラメータです。公式は対応するノートPCでローカル実行できるとしていますが、実行する前にグラフィックカード、システムメモリ、ストレージの3つの数字を合計し、公式インストールガイドで自分のシステムとグラフィックカードが対応しているかを確認してください。

29GBという数字の裏には3つの内訳がある

公式ブログはこの仕組みを「4層設計」と呼んでいます。エキスパート行列はエキスパートグループ間で共有され、CPUとGPUが協調して計算します。29GBだけを見てPCを買うと、計算を間違えます。

自分のPCを3ステップで確認する

1. まずグラフィックカードとOSを確認します。公式ブログは対応ノートPCを例に挙げていますが、対応範囲は公式インストールガイドが基準です。自分のシステムとGPUモデルが合っているか、先に照らし合わせてください。
2. 次にメモリとストレージを合計します。GPUのピーク29GBに加えて、約40GBのシステムメモリと約48GBのSSD空き容量が必要です。3つとも欠かせません。
3. 最後に入手先を確認します。モデルの重みはHugging Face、推論フレームワークとEdge0 AppはGitHubにあります。ダウンロード前にライセンスを読みましょう。推論フレームワークはApache-2.0、モデルの重みはEdge0 Community Model License 1.0で、商用利用の前には2つのライセンスを必ず読み込んでください。

ピークメモリ、80トークン/秒以上のデコード速度、128K～256Kのコンテキスト、6項目の平均72.8というベンチマークは、すべてEdge0の社内テストによる数字で、独立した第三者による再現はまだありません。手元でも同じ結果が出ると決めつけないでください。公式は、ローカル推論にはクラウドのトークン料金やAPI料金がかからず、データは自分のPCに残るとも述べていますが、ハードウェアと電気代は自己負担です。標準的な消費電力は約120Wとされており、ノートPCの冷却と電源も計算に入れる必要があります。大規模モデルを動かすのは、メモリの数字だけの問題ではありません。