本ページはプロモーション（楽天市場・Amazon・BTOパソコンショップのアフィリエイトリンク）を含みます

RTX 4060 Ti 16GBで動くローカルLLM

RTX 4060 Ti 16GBはVRAM 16GBのGPUです（実際に使えるのは約15.7GB）。メモリ帯域は288GB/sで、ローカルLLMの文章生成の速さはほぼこの値で決まります。現行の1つ前の世代で、中古・在庫品で手に入れる形になります。

16モデルが丸ごと載ります（全29モデル中・文脈8K）

文脈の長さ・メモリ量を変えて計算する →

RTX 4060 Ti 16GBに収まるモデル

モデル	量子化	必要メモリ（8K）	判定	速度の目安
Qwen3.5 4B Qwen・軽量・画像入力対応	BF16	10.5GB	◎ 余裕	実用的（22 tok/秒）
Gemma 4 E4B Gemma・スマホ/ノート向け軽量	Q8_0	9.5GB	◎ 余裕	実用的（24 tok/秒）
Qwen3 8B Qwen・定番の8B	Q8_0	10.8GB	◎ 余裕	実用的（23 tok/秒）
Llama 3.1 8B Llama・定番・派生モデルが多い	Q8_0	10.5GB	◎ 余裕	実用的（24 tok/秒）
Ministral 3 8B Mistral	Q8_0	11.5GB	◎ 余裕	実用的（21 tok/秒）
DeepSeek-R1-0528-Qwen3-8B DeepSeek・推論（思考）特化	Q8_0	10.8GB	◎ 余裕	実用的（23 tok/秒）
llm-jp-4 8B thinking 日本語・国産・日本語特化	Q8_0	11.1GB	◎ 余裕	実用的（22 tok/秒）
Qwen3-Swallow 8B 日本語・東京科学大・日本語強化	Q8_0	10.8GB	◎ 余裕	実用的（23 tok/秒）
Qwen3.5 9B Qwen・画像入力対応	Q8_0	11.4GB	◎ 余裕	実用的（20 tok/秒）
Gemma 4 12B Gemma・日本語も得意な中型	Q8_0	14.1GB	◎ 余裕	実用的（16 tok/秒）
Ministral 3 14B Mistral	Q6_K	13.8GB	◎ 余裕	実用的（18 tok/秒）
Qwen3 14B Qwen	Q6_K	14.5GB	○ ギリギリ	実用的（17 tok/秒）
gpt-oss-20b OpenAI・OpenAIのオープンモデル（MXFP4配布）	Q4_K_M（MXFP4）	13.2GB	◎ 余裕	快適（59 tok/秒）
Devstral Small 2 24B Mistral・コーディング特化	IQ4_XS	15.5GB	○ ギリギリ	実用的（15 tok/秒）
Gemma 4 26B-A4B Gemma・MoEで速い	IQ4_XS	15.5GB	○ ギリギリ	快適（56 tok/秒）
Qwen3.8 27B Qwen・2026年8月の最新世代	Q3_K_M	15.2GB	○ ギリギリ	やや遅い（15 tok/秒）

メインメモリ32GBに一部を逃がせば動くモデル（8件）

動きますが、速度は大きく落ちます。MoEモデルは比較的落ちにくいです。

モデル	量子化	必要メモリ（8K）	判定	速度の目安
Qwen3-Coder 30B-A3B Qwen・コーディング特化MoE	Q4_K_M	20.4GB	△ 溢れる	実用的（28 tok/秒）
GLM-4.7-Flash GLM・MoE・長文脈に強い	Q4_K_M	20.4GB	△ 溢れる	実用的（30 tok/秒）
Nemotron 3 Nano 30B-A3B NVIDIA・Mamba混成で長文脈が軽い	Q4_K_M	20.3GB	△ 溢れる	実用的（27 tok/秒）
Gemma 4 31B Gemma・Gemma 4の最上位	Q4_K_M	21.5GB	△ 溢れる	かなり遅い（4.3 tok/秒）
Qwen3 32B Qwen	Q4_K_M	23.1GB	△ 溢れる	かなり遅い（3.7 tok/秒）
Qwen3-Swallow 32B 日本語・東京科学大・日本語強化	Q4_K_M	23.1GB	△ 溢れる	かなり遅い（3.7 tok/秒）
llm-jp-4 33B thinking 日本語・国産・日本語特化	Q4_K_M	23.4GB	△ 溢れる	かなり遅い（3.6 tok/秒）
Qwen3.6 35B-A3B Qwen・人気のMoE・速い	Q4_K_M	23.1GB	△ 溢れる	実用的（25 tok/秒）

近いGPUとの比較（代表的なモデル・Q4_K_M・文脈8K）

モデル	RTX 4060 Ti 16GB	Radeon RX 7600 XT	Radeon RX 9060 XT 16GB	RTX 5060 Ti 16GB	Radeon RX 6800
Qwen3 8B	快適（41 tok/秒）	実用的（35 tok/秒）	実用的（39 tok/秒）	快適（63 tok/秒）	快適（62 tok/秒）
Qwen3 14B	実用的（23 tok/秒）	実用的（19 tok/秒）	実用的（21 tok/秒）	実用的（35 tok/秒）	実用的（34 tok/秒）
gpt-oss-20b	快適（59 tok/秒）	快適（50 tok/秒）	快適（56 tok/秒）	快適（91 tok/秒）	快適（90 tok/秒）
Qwen3.6 35B-A3B	メモリに溢れる・実用的（25 tok/秒）	メモリに溢れる・実用的（24 tok/秒）	メモリに溢れる・実用的（25 tok/秒）	メモリに溢れる・実用的（28 tok/秒）	メモリに溢れる・実用的（28 tok/秒）
Qwen3 32B	メモリに溢れる・かなり遅い（3.7 tok/秒）	メモリに溢れる・かなり遅い（3.5 tok/秒）	メモリに溢れる・かなり遅い（3.6 tok/秒）	メモリに溢れる・かなり遅い（4.0 tok/秒）	メモリに溢れる・かなり遅い（4.0 tok/秒）
Llama 3.3 70B	✕ 動かない	✕ 動かない	✕ 動かない	✕ 動かない	✕ 動かない

同じVRAMでも、メモリ帯域が大きいほど速くなります。RTX 4060 Ti 16GBの帯域は288GB/sです。

RTX 4060 Ti 16GBで動く画像・動画生成AI（14モデル）

ComfyUIで使う場合の目安です（メインメモリ32GB）。精度は、そのGPUで動く範囲で一番品質の高いものを選んでいます。

モデル	おすすめの精度	必要VRAM	判定
Stable Diffusion 1.5 画像・512×512	BF16 / FP16	2.9GB	◎ 全部VRAMに載る
SDXL 1.0（Illustrious・Pony など派生含む）画像・1024×1024	BF16 / FP16	7.2GB	◎ 全部VRAMに載る
Stable Diffusion 3.5 Large 画像・1024×1024	FP8	9.4GB	◎ 全部VRAMに載る
FLUX.1 [dev] 画像・1024×1024	FP8	13.3GB	○ 載せ替えで動く
FLUX.2 [klein] 4B 画像・1024×1024	BF16 / FP16	9.0GB	◎ 全部VRAMに載る
FLUX.2 [klein] 9B 画像・1024×1024	FP8	10.4GB	○ 載せ替えで動く
Qwen-Image（2512・Edit 含む）画像・1024×1024	GGUF Q5_K_S	15.7GB	○ 載せ替えで動く
Z-Image Turbo 画像・1024×1024	BF16 / FP16	13.5GB	○ 載せ替えで動く
HiDream-I1 画像・1024×1024	GGUF Q5_K_S	14.4GB	○ 載せ替えで動く
Wan 2.1 T2V 1.3B 動画・480p・5秒	BF16 / FP16	6.3GB	◎ 全部VRAMに載る
Wan 2.2 TI2V 5B 動画・480p・5秒	BF16 / FP16	13.0GB	○ 載せ替えで動く
Wan 2.2 A14B（T2V・I2V）動画・480p・5秒	GGUF Q5_K_S	14.7GB	○ 載せ替えで動く
HunyuanVideo 1.5 動画・480p・5秒	FP8	12.2GB	○ 載せ替えで動く
LTX-2.3（22B・音声つき）動画・480p・5秒	GGUF Q3_K_S	13.1GB	○ 載せ替えで動く