12GBになると、12〜14Bクラスまで4bitで載るようになります。このページでは、主要な29モデルについて、VRAM 12GBに収まる一番品質の高い量子化と、必要メモリ・速度の目安をまとめました（文脈8K・データ更新 2026年9月27日）。
速度はRTX 5070（メモリ帯域672GB/s）での目安です。
| モデル | 量子化 | 必要メモリ（8K） | 判定 | 速度の目安 |
|---|---|---|---|---|
| Qwen3.5 4B Qwen・軽量・画像入力対応 | BF16 | 10.5GB | ◎ 余裕 | 快適（50 tok/秒） |
| Gemma 4 E4B Gemma・スマホ/ノート向け軽量 | Q8_0 | 9.5GB | ◎ 余裕 | 快適（55 tok/秒） |
| Qwen3 8B Qwen・定番の8B | Q8_0 | 10.8GB | ○ ギリギリ | 快適（54 tok/秒） |
| Llama 3.1 8B Llama・定番・派生モデルが多い | Q8_0 | 10.5GB | ◎ 余裕 | 快適（55 tok/秒） |
| Ministral 3 8B Mistral | Q8_0 | 11.5GB | ○ ギリギリ | 快適（50 tok/秒） |
| DeepSeek-R1-0528-Qwen3-8B DeepSeek・推論（思考）特化 | Q8_0 | 10.8GB | ○ ギリギリ | 快適（54 tok/秒） |
| llm-jp-4 8B thinking 日本語・国産・日本語特化 | Q8_0 | 11.1GB | ○ ギリギリ | 快適（52 tok/秒） |
| Qwen3-Swallow 8B 日本語・東京科学大・日本語強化 | Q8_0 | 10.8GB | ○ ギリギリ | 快適（54 tok/秒） |
| Qwen3.5 9B Qwen・画像入力対応 | Q8_0 | 11.4GB | ○ ギリギリ | 快適（46 tok/秒） |
| Gemma 4 12B Gemma・日本語も得意な中型 | Q6_K | 11.2GB | ○ ギリギリ | 快適（48 tok/秒） |
| Ministral 3 14B Mistral | Q4_K_M | 10.7GB | ○ ギリギリ | 快適（56 tok/秒） |
| Qwen3 14B Qwen | Q4_K_M | 11.2GB | ○ ギリギリ | 快適（53 tok/秒） |
VRAMに収まりきらない分をメインメモリで補う方法です。動きますが速度は大きく落ちます。MoEモデル（名前に「A3B」などが付くもの）は落ち込みが比較的小さく、この使い方と相性が良いです。
| モデル | 量子化 | 必要メモリ（8K） | 判定 | 速度の目安 |
|---|---|---|---|---|
| gpt-oss-20b OpenAI・OpenAIのオープンモデル（MXFP4配布） | Q4_K_M（MXFP4） | 13.2GB | △ 溢れる | 快適（53 tok/秒） |
| Devstral Small 2 24B Mistral・コーディング特化 | Q4_K_M | 16.9GB | △ 溢れる | やや遅い（6.0 tok/秒） |
| Gemma 4 26B-A4B Gemma・MoEで速い | Q4_K_M | 17.0GB | △ 溢れる | 実用的（23 tok/秒） |
| Qwen3.8 27B Qwen・2026年8月の最新世代 | Q4_K_M | 18.4GB | △ 溢れる | かなり遅い（4.7 tok/秒） |
| Qwen3-Coder 30B-A3B Qwen・コーディング特化MoE | Q4_K_M | 20.4GB | △ 溢れる | 実用的（21 tok/秒） |
| GLM-4.7-Flash GLM・MoE・長文脈に強い | Q4_K_M | 20.4GB | △ 溢れる | 実用的（23 tok/秒） |
| Nemotron 3 Nano 30B-A3B NVIDIA・Mamba混成で長文脈が軽い | Q4_K_M | 20.3GB | △ 溢れる | 実用的（21 tok/秒） |
| Gemma 4 31B Gemma・Gemma 4の最上位 | Q4_K_M | 21.5GB | △ 溢れる | かなり遅い（3.3 tok/秒） |
| Qwen3 32B Qwen | Q4_K_M | 23.1GB | △ 溢れる | かなり遅い（2.9 tok/秒） |
| Qwen3-Swallow 32B 日本語・東京科学大・日本語強化 | Q4_K_M | 23.1GB | △ 溢れる | かなり遅い（2.9 tok/秒） |
| llm-jp-4 33B thinking 日本語・国産・日本語特化 | Q4_K_M | 23.4GB | △ 溢れる | かなり遅い（2.8 tok/秒） |
| Qwen3.6 35B-A3B Qwen・人気のMoE・速い | Q4_K_M | 23.1GB | △ 溢れる | 実用的（21 tok/秒） |
同じVRAM容量でも、メモリ帯域（GB/s）が大きいGPUほど文章の生成が速くなります。ローカルLLMの速度は、ほぼこの帯域で決まります。
用途によりますが、日本語の汎用用途なら Gemma 4 12B・Qwen3 14B あたりが、このサイズで載る範囲では有力です。日本語特化なら「日本語」系統のモデルも候補です。
llama.cpp（Ollama・LM Studio）でGGUF形式を使う場合の目安で、実際とは±10〜20%程度ずれることがあります。ぎりぎりの場合はひとつ小さい量子化を選ぶと安全です。
会話の記憶（KVキャッシュ）が増え、必要なメモリが増えます。この表は8K（標準的な会話）で計算しています。長文を扱う場合は計算機で文脈の長さを変えて確認してください。