DeepInferは、DeepSeekがGitHubで公開した推論フレームワークです。組織名はdeepseek-ai、プロジェクト名はDeepInferで、Apache 2.0ライセンスを採用しています。DeepSeekの大規模な本番サービスを支える推論フレームワークだと説明されており、公開時点ではDeepSeek-V4.1-Flashという1つのモデルだけをサポートしています。結論を先に言えば、DeepSeekが大規模推論をどう行っているかを研究したいなら読む価値がありますが、そのまま対外サービスとして使いたいなら、欠けている部分は自分で補う必要があります。
公式リポジトリの中身
リポジトリには、DeepSeekがこれまでにオープンソース化してきたカーネルが含まれています。FlashMLA、DeepGEMM、DeepEPに加え、TileLangで書かれた新しいカーネルがあり、推測デコーディング方式はDSparkと呼ばれ、構造化出力もサポートされています。フレームワークはvLLMを基に発展し、SGLangとTensorRT-LLMの考え方も取り入れています。ハードウェアは2種類だけをサポートします。この世代のNVIDIA SM100データセンターGPUと、Huawei Ascend 950です。環境要件は具体的で、Linux、GCC 13以降、Python 3.12、NVIDIAルートではCUDA 13、AscendルートではCANN 9.2が必要です。既定の重みはHugging Face上のDeepSeek-V4.1-Flash-1017で、初回実行時に自動でダウンロードされます。
リポジトリにない3つのもの
DeepSeekはリポジトリ自身の説明の中で、完全な推論サービスにはまだ必要だが今回は公開されなかった3つの部分があると明記しています。キー・バリュー・キャッシュ・システム、プリフィルとデコードを異なるマシンプールに分割するためのインフラ、データ並列レプリカ間のロードバランシングです。つまり、リポジトリが提供するのは推論コアであり、すぐに使える本番サービスではありません。単一クラスターが1日155兆トークンを処理し、オフピーク料金で1カードあたり1時間38ドルの収益を上げるという公式の数字は、DeepSeek自身の主張で独立した検証を受けていません。参考として扱い、自分のデプロイ後の約束と受け取ってはいけません。
デプロイコストと本当の落とし穴
まずハードウェアのハードルです。一般的なノートPCやコンシューマー向けGPUは対象外で、出発点はデータセンターGPUかAscendカードに、対応するドライバーとビルド環境を加えたものになります。個人開発者がローカルで実行することは基本的に考えなくてよいでしょう。落とし穴は3つあります。公開から1か月も経っておらず、ドキュメントとバージョンが急速に変わっているため、古いチュートリアルをなぞると動かないことがあります。V4.1-Flashという1つのモデルしかサポートしておらず、モデルを変えるには別のフレームワークを探す必要があります。欠けているキャッシュとロードバランシングの部分を補うには、コード全体を読み解く必要があります。推論サービスを運営するエンジニアやチームが、本番レベルの推論実装を学ぶのに向いています。モデルを呼び出したいだけの人には向きません。DeepSeekのAPIか素のvLLMを使う方がはるかに手軽です。
