モデルと量子化を選ぶだけで、必要なVRAMと「手持ちのGPUで動くか」「どのくらいの速度か」が分かります。GPUから「動くモデル」を探すこともできます。
対応モデル29種・GPU/PC 38種｜データ更新 2026年9月27日
計算結果は llama.cpp（Ollama・LM Studio）でGGUF形式を使う場合の目安です。実際の必要量は±10〜20%程度ずれることがあります。購入前には各モデルの配布ページもご確認ください。
ローカルLLMに必要なメモリは、大きく3つに分かれます。
このため「モデルのファイルサイズ＝必要なVRAM」ではなく、ファイルサイズより1〜2GBほど多めに見ておく必要があります。
「モデル本体（パラメータ数×量子化のビット数）」＋「会話の記憶（KVキャッシュ）」＋「作業領域」の合計です。モデルの構造（層の数・注意機構の種類）はHugging Faceで公開されている設定ファイルから取得し、量子化ごとのサイズは実際に配布されているGGUFファイルのサイズで補正しています。
モデルの数値を少ないビット数に圧縮して、必要メモリを減らす方法です。迷ったらQ4_K_M（4bit）が定番で、元の品質をほぼ保ちながらサイズを約3分の1にできます。Q8_0はほぼ劣化なし、Q3以下は品質の低下が目立ち始めます。
VRAMに収まらない分を、PCのメインメモリに置いて動かす状態です（Ollama・LM Studioは自動でこうなります）。動きはしますが、メインメモリはVRAMより大幅に遅いため、生成速度が数分の1〜数十分の1に落ちます。
MoE（Mixture of Experts）は、全体のパラメータのうち一部（例：35Bのうち約3B）だけを毎回使う仕組みです。必要なメモリは全体分ですが、1文字ごとに読み込む量が少ないため、同じサイズの通常モデルより速く動きます。
使えます。これらはメインメモリをGPUと共有する仕組みなので、大容量メモリ構成なら70B以上の大型モデルも載せられます。ただしGPUに割り当てられるのは全体の約75%が目安で、速度はハイエンドのグラボより遅くなります。
llama.cpp系（Ollama・LM Studio）でGGUF形式を使う場合の目安で、実際とは±10〜20%程度ずれることがあります。画像入力を使う場合は、別途数百MB〜1GB程度が必要です。速度はメモリ帯域から出した理論値ベースの目安で、実際の値は環境で変わります。
データの出典：モデル構成はHugging Face公開の config.json・safetensors情報、GPUの仕様は各社公式・公開仕様（2026年9月27日確認）。