24GBあれば27〜32Bクラスを4bitで丸ごと載せられ、MoEモデルも快適です。このページでは、主要な29モデルについて、VRAM 24GBに収まる一番品質の高い量子化と、必要メモリ・速度の目安をまとめました（文脈8K・データ更新 2026年9月27日）。
速度はRTX 4090（メモリ帯域1008GB/s）での目安です。
| モデル | 量子化 | 必要メモリ（8K） | 判定 | 速度の目安 |
|---|---|---|---|---|
| Qwen3.5 4B Qwen・軽量・画像入力対応 | BF16 | 10.5GB | ◎ 余裕 | 快適（76 tok/秒） |
| Gemma 4 E4B Gemma・スマホ/ノート向け軽量 | BF16 | 17.2GB | ◎ 余裕 | 快適（44 tok/秒） |
| Qwen3 8B Qwen・定番の8B | BF16 | 18.6GB | ◎ 余裕 | 快適（43 tok/秒） |
| Llama 3.1 8B Llama・定番・派生モデルが多い | BF16 | 18.1GB | ◎ 余裕 | 快適（44 tok/秒） |
| Ministral 3 8B Mistral | BF16 | 20.0GB | ◎ 余裕 | 実用的（40 tok/秒） |
| DeepSeek-R1-0528-Qwen3-8B DeepSeek・推論（思考）特化 | BF16 | 18.6GB | ◎ 余裕 | 快適（43 tok/秒） |
| llm-jp-4 8B thinking 日本語・国産・日本語特化 | BF16 | 19.3GB | ◎ 余裕 | 快適（41 tok/秒） |
| Qwen3-Swallow 8B 日本語・東京科学大・日本語強化 | BF16 | 18.6GB | ◎ 余裕 | 快適（43 tok/秒） |
| Qwen3.5 9B Qwen・画像入力対応 | BF16 | 20.6GB | ◎ 余裕 | 実用的（37 tok/秒） |
| Gemma 4 12B Gemma・日本語も得意な中型 | Q8_0 | 14.1GB | ◎ 余裕 | 快適（56 tok/秒） |
| Ministral 3 14B Mistral | Q8_0 | 17.1GB | ◎ 余裕 | 快適（48 tok/秒） |
| Qwen3 14B Qwen | Q8_0 | 18.0GB | ◎ 余裕 | 快適（45 tok/秒） |
| gpt-oss-20b OpenAI・OpenAIのオープンモデル（MXFP4配布） | Q4_K_M（MXFP4） | 13.2GB | ◎ 余裕 | 快適（100+ tok/秒） |
| Devstral Small 2 24B Mistral・コーディング特化 | Q6_K | 22.2GB | ○ ギリギリ | 実用的（36 tok/秒） |
| Gemma 4 26B-A4B Gemma・MoEで速い | Q6_K | 22.8GB | ○ ギリギリ | 快適（100+ tok/秒） |
| Qwen3.8 27B Qwen・2026年8月の最新世代 | Q5_K_M | 21.4GB | ○ ギリギリ | 実用的（36 tok/秒） |
| Qwen3-Coder 30B-A3B Qwen・コーディング特化MoE | Q5_K_M | 23.7GB | ○ ギリギリ | 快適（100+ tok/秒） |
| GLM-4.7-Flash GLM・MoE・長文脈に強い | Q4_K_M | 20.4GB | ◎ 余裕 | 快適（100+ tok/秒） |
| Nemotron 3 Nano 30B-A3B NVIDIA・Mamba混成で長文脈が軽い | Q5_K_M | 23.7GB | ○ ギリギリ | 快適（100+ tok/秒） |
| Gemma 4 31B Gemma・Gemma 4の最上位 | Q4_K_M | 21.5GB | ○ ギリギリ | 実用的（37 tok/秒） |
| Qwen3 32B Qwen | Q4_K_M | 23.1GB | ○ ギリギリ | 実用的（36 tok/秒） |
| Qwen3-Swallow 32B 日本語・東京科学大・日本語強化 | Q4_K_M | 23.1GB | ○ ギリギリ | 実用的（36 tok/秒） |
| llm-jp-4 33B thinking 日本語・国産・日本語特化 | Q4_K_M | 23.4GB | ○ ギリギリ | 実用的（35 tok/秒） |
| Qwen3.6 35B-A3B Qwen・人気のMoE・速い | Q4_K_M | 23.1GB | ○ ギリギリ | 快適（100+ tok/秒） |
VRAMに収まりきらない分をメインメモリで補う方法です。動きますが速度は大きく落ちます。MoEモデル（名前に「A3B」などが付くもの）は落ち込みが比較的小さく、この使い方と相性が良いです。
| モデル | 量子化 | 必要メモリ（8K） | 判定 | 速度の目安 |
|---|---|---|---|---|
| Llama 3.3 70B Llama・70Bの定番 | Q4_K_M | 47.0GB | △ 溢れる | かなり遅い（1.4 tok/秒） |
同じVRAM容量でも、メモリ帯域（GB/s）が大きいGPUほど文章の生成が速くなります。ローカルLLMの速度は、ほぼこの帯域で決まります。
用途によりますが、日本語の汎用用途なら Qwen3 32B・Qwen3.6 35B-A3B あたりが、このサイズで載る範囲では有力です。日本語特化なら「日本語」系統のモデルも候補です。
llama.cpp（Ollama・LM Studio）でGGUF形式を使う場合の目安で、実際とは±10〜20%程度ずれることがあります。ぎりぎりの場合はひとつ小さい量子化を選ぶと安全です。
会話の記憶（KVキャッシュ）が増え、必要なメモリが増えます。この表は8K（標準的な会話）で計算しています。長文を扱う場合は計算機で文脈の長さを変えて確認してください。