エントリー向けの8GBでも、4〜9Bクラスの軽量モデルなら十分に実用的です。このページでは、主要な29モデルについて、VRAM 8GBに収まる一番品質の高い量子化と、必要メモリ・速度の目安をまとめました（文脈8K・データ更新 2026年9月27日）。
速度はRTX 5060（メモリ帯域448GB/s）での目安です。
| モデル | 量子化 | 必要メモリ（8K） | 判定 | 速度の目安 |
|---|---|---|---|---|
| Qwen3.5 4B Qwen・軽量・画像入力対応 | Q8_0 | 6.0GB | ◎ 余裕 | 快適（63 tok/秒） |
| Gemma 4 E4B Gemma・スマホ/ノート向け軽量 | Q6_K | 7.6GB | ○ ギリギリ | 快適（48 tok/秒） |
| Qwen3 8B Qwen・定番の8B | Q4_K_M | 7.0GB | ○ ギリギリ | 快適（63 tok/秒） |
| Llama 3.1 8B Llama・定番・派生モデルが多い | Q5_K_M | 7.6GB | ○ ギリギリ | 快適（55 tok/秒） |
| Ministral 3 8B Mistral | Q4_K_M | 7.3GB | ○ ギリギリ | 快適（58 tok/秒） |
| DeepSeek-R1-0528-Qwen3-8B DeepSeek・推論（思考）特化 | Q4_K_M | 7.0GB | ○ ギリギリ | 快適（63 tok/秒） |
| llm-jp-4 8B thinking 日本語・国産・日本語特化 | Q4_K_M | 7.1GB | ○ ギリギリ | 快適（60 tok/秒） |
| Qwen3-Swallow 8B 日本語・東京科学大・日本語強化 | Q4_K_M | 7.0GB | ○ ギリギリ | 快適（63 tok/秒） |
| Qwen3.5 9B Qwen・画像入力対応 | Q4_K_M | 6.9GB | ◎ 余裕 | 快適（54 tok/秒） |
| Gemma 4 12B Gemma・日本語も得意な中型 | Q3_K_M | 7.2GB | ○ ギリギリ | 快適（53 tok/秒） |
VRAMに収まりきらない分をメインメモリで補う方法です。動きますが速度は大きく落ちます。MoEモデル（名前に「A3B」などが付くもの）は落ち込みが比較的小さく、この使い方と相性が良いです。
| モデル | 量子化 | 必要メモリ（8K） | 判定 | 速度の目安 |
|---|---|---|---|---|
| Ministral 3 14B Mistral | Q4_K_M | 10.7GB | △ 溢れる | やや遅い（9.8 tok/秒） |
| Qwen3 14B Qwen | Q4_K_M | 11.2GB | △ 溢れる | やや遅い（8.6 tok/秒） |
| gpt-oss-20b OpenAI・OpenAIのオープンモデル（MXFP4配布） | Q4_K_M（MXFP4） | 13.2GB | △ 溢れる | 実用的（20 tok/秒） |
| Devstral Small 2 24B Mistral・コーディング特化 | Q4_K_M | 16.9GB | △ 溢れる | かなり遅い（3.6 tok/秒） |
| Gemma 4 26B-A4B Gemma・MoEで速い | Q4_K_M | 17.0GB | △ 溢れる | やや遅い（14 tok/秒） |
| Qwen3.8 27B Qwen・2026年8月の最新世代 | Q4_K_M | 18.4GB | △ 溢れる | かなり遅い（3.1 tok/秒） |
| Qwen3-Coder 30B-A3B Qwen・コーディング特化MoE | Q4_K_M | 20.4GB | △ 溢れる | やや遅い（15 tok/秒） |
| GLM-4.7-Flash GLM・MoE・長文脈に強い | Q4_K_M | 20.4GB | △ 溢れる | 実用的（16 tok/秒） |
| Nemotron 3 Nano 30B-A3B NVIDIA・Mamba混成で長文脈が軽い | Q4_K_M | 20.3GB | △ 溢れる | やや遅い（14 tok/秒） |
| Gemma 4 31B Gemma・Gemma 4の最上位 | Q4_K_M | 21.5GB | △ 溢れる | かなり遅い（2.4 tok/秒） |
| Qwen3 32B Qwen | Q4_K_M | 23.1GB | △ 溢れる | かなり遅い（2.2 tok/秒） |
| Qwen3-Swallow 32B 日本語・東京科学大・日本語強化 | Q4_K_M | 23.1GB | △ 溢れる | かなり遅い（2.2 tok/秒） |
| llm-jp-4 33B thinking 日本語・国産・日本語特化 | Q4_K_M | 23.4GB | △ 溢れる | かなり遅い（2.2 tok/秒） |
| Qwen3.6 35B-A3B Qwen・人気のMoE・速い | Q4_K_M | 23.1GB | △ 溢れる | 実用的（16 tok/秒） |
同じVRAM容量でも、メモリ帯域（GB/s）が大きいGPUほど文章の生成が速くなります。ローカルLLMの速度は、ほぼこの帯域で決まります。
用途によりますが、日本語の汎用用途なら Qwen3.5 9B・Gemma 4 12B あたりが、このサイズで載る範囲では有力です。日本語特化なら「日本語」系統のモデルも候補です。
llama.cpp（Ollama・LM Studio）でGGUF形式を使う場合の目安で、実際とは±10〜20%程度ずれることがあります。ぎりぎりの場合はひとつ小さい量子化を選ぶと安全です。
会話の記憶（KVキャッシュ）が増え、必要なメモリが増えます。この表は8K（標準的な会話）で計算しています。長文を扱う場合は計算機で文脈の長さを変えて確認してください。