大規模言語モデルを自分の PC やサーバーで動かすために必要な推論フレームワーク、GPU の壁、量子化の妥協を整理し、プライバシーや長期コストを気にするチーム向けです。
大規模モデルをローカルで動かすとき、グラフィックカードのVRAMが足りるかどうかは、モデルをダウンロードする前から体験の上限を決めてしまいます。演算性能ばかり見て、モデルが入らない、入っても短いコンテキストしか使えないと気づく人は少なくありません。VRAMはハードな上限で、少なく買うと後から増やせず...
DGX Spark に 64GB のユニファイドメモリを搭載した新バージョンが登場し、デスクトップで大規模モデルをローカル実行する際の入り口価格は 4999 ドルに設定された。2026 年 10 月 2 日、NVIDIA は公式ブログでこの新構成を発表し、10 月 23 日に発売すると明らかにした。...
LM Studio は Element Labs が開発したデスクトップアプリで、やることは明快です。大規模言語モデルを1つのアプリに詰め込み、自分のPCでオフラインでチャットできるようにする。アプリを開き、内蔵のモデルブラウザでオープンソースのモデルを選んでダウンロードし、クリックで読み込めば会話...
SFT（Supervised Fine-Tuning、教師ありファインチューニング）は、チャットモデルが「デビュー」する前の研修のようなものです。数千件の「指示-回答」のデモデータを使い、事前学習済みの大規模モデルに、人間が期待する話し方・振る舞い方を教えます。ここで注意したいのは、モデルに新しい知...
オープンウェイトモデルは、エンジニアの技術選択肢から、企業の決算説明会の定番ワードになりつつある。9月28日の動察 Beating AI 快訊が伝えたフィナンシャル・タイムズの調査によると、データ会社 AlphaSense の統計では、今年8月と9月に米国企業が決算説明会や投資家向け会合でオープンウ...
Cherry Studio は本当に入れる価値があるのか。まずそれが何かから見ていこう。GitHub で約 5.2 万スターを集めるオープンソースの AI デスクトップクライアントで、「AI productivity studio」をうたい、マルチモデルチャット、300 以上のプリセットアシスタント...
ComfyUI は今、ローカル画像生成シーンで最も注目されているオープンソースプロジェクトです。従来の UI の代わりにノードをつないで使う、Stable Diffusion 用のノードベース・ワークフロー・フロントエンドです。モデル自体は同梱せず、「段取り」だけを担当します。モデルの読み込み、プロ...
Ollamaで大規模言語モデルをローカル実行するとは、一言で言えば「クラウドAPIの呼び出し」を自分のPC上の一つのコマンドに変えることだ。Ollamaをインストールし、 ollama pull llama3.1 でモデルを取得、 ollama run でオフラインのまま対話もコーディングも文書読み...
