本ページはプロモーション（楽天市場・Amazon・BTOパソコンショップのアフィリエイトリンク）を含みます

RTX 3060 Tiで動くローカルLLM

RTX 3060 TiはVRAM 8GBのGPUです（実際に使えるのは約7.7GB）。メモリ帯域は448GB/sで、ローカルLLMの文章生成の速さはほぼこの値で決まります。現行の1つ前の世代で、中古・在庫品で手に入れる形になります。

10モデルが丸ごと載ります（全29モデル中・文脈8K）

RTX 3060 Tiに収まるモデル

モデル	量子化	必要メモリ（8K）	判定	速度の目安
Qwen3.5 4B Qwen・軽量・画像入力対応	Q8_0	6.0GB	◎ 余裕	快適（63 tok/秒）
Gemma 4 E4B Gemma・スマホ/ノート向け軽量	Q6_K	7.6GB	○ ギリギリ	快適（48 tok/秒）
Qwen3 8B Qwen・定番の8B	Q4_K_M	7.0GB	○ ギリギリ	快適（63 tok/秒）
Llama 3.1 8B Llama・定番・派生モデルが多い	Q5_K_M	7.6GB	○ ギリギリ	快適（55 tok/秒）
Ministral 3 8B Mistral	Q4_K_M	7.3GB	○ ギリギリ	快適（58 tok/秒）
DeepSeek-R1-0528-Qwen3-8B DeepSeek・推論（思考）特化	Q4_K_M	7.0GB	○ ギリギリ	快適（63 tok/秒）
llm-jp-4 8B thinking 日本語・国産・日本語特化	Q4_K_M	7.1GB	○ ギリギリ	快適（60 tok/秒）
Qwen3-Swallow 8B 日本語・東京科学大・日本語強化	Q4_K_M	7.0GB	○ ギリギリ	快適（63 tok/秒）
Qwen3.5 9B Qwen・画像入力対応	Q4_K_M	6.9GB	◎ 余裕	快適（54 tok/秒）
Gemma 4 12B Gemma・日本語も得意な中型	Q3_K_M	7.2GB	○ ギリギリ	快適（53 tok/秒）

メインメモリ32GBに一部を逃がせば動くモデル（14件）

動きますが、速度は大きく落ちます。MoEモデルは比較的落ちにくいです。

モデル	量子化	必要メモリ（8K）	判定	速度の目安
Ministral 3 14B Mistral	Q4_K_M	10.7GB	△ 溢れる	やや遅い（9.8 tok/秒）
Qwen3 14B Qwen	Q4_K_M	11.2GB	△ 溢れる	やや遅い（8.6 tok/秒）
gpt-oss-20b OpenAI・OpenAIのオープンモデル（MXFP4配布）	Q4_K_M（MXFP4）	13.2GB	△ 溢れる	実用的（20 tok/秒）
Devstral Small 2 24B Mistral・コーディング特化	Q4_K_M	16.9GB	△ 溢れる	かなり遅い（3.6 tok/秒）
Gemma 4 26B-A4B Gemma・MoEで速い	Q4_K_M	17.0GB	△ 溢れる	やや遅い（14 tok/秒）
Qwen3.8 27B Qwen・2026年8月の最新世代	Q4_K_M	18.4GB	△ 溢れる	かなり遅い（3.1 tok/秒）
Qwen3-Coder 30B-A3B Qwen・コーディング特化MoE	Q4_K_M	20.4GB	△ 溢れる	やや遅い（15 tok/秒）
GLM-4.7-Flash GLM・MoE・長文脈に強い	Q4_K_M	20.4GB	△ 溢れる	実用的（16 tok/秒）
Nemotron 3 Nano 30B-A3B NVIDIA・Mamba混成で長文脈が軽い	Q4_K_M	20.3GB	△ 溢れる	やや遅い（14 tok/秒）
Gemma 4 31B Gemma・Gemma 4の最上位	Q4_K_M	21.5GB	△ 溢れる	かなり遅い（2.4 tok/秒）
Qwen3 32B Qwen	Q4_K_M	23.1GB	△ 溢れる	かなり遅い（2.2 tok/秒）
Qwen3-Swallow 32B 日本語・東京科学大・日本語強化	Q4_K_M	23.1GB	△ 溢れる	かなり遅い（2.2 tok/秒）
llm-jp-4 33B thinking 日本語・国産・日本語特化	Q4_K_M	23.4GB	△ 溢れる	かなり遅い（2.2 tok/秒）
Qwen3.6 35B-A3B Qwen・人気のMoE・速い	Q4_K_M	23.1GB	△ 溢れる	実用的（16 tok/秒）

近いGPUとの比較（代表的なモデル・Q4_K_M・文脈8K）

モデル	RTX 3060 Ti	RTX 5060 Ti 8GB	RTX 5060	RTX 3070	RTX 5050
Qwen3 8B	快適（63 tok/秒）	快適（63 tok/秒）	快適（63 tok/秒）	快適（63 tok/秒）	快適（45 tok/秒）
Qwen3 14B	メモリに溢れる・やや遅い（8.6 tok/秒）	メモリに溢れる・やや遅い（8.6 tok/秒）	メモリに溢れる・やや遅い（8.6 tok/秒）	メモリに溢れる・やや遅い（8.6 tok/秒）	メモリに溢れる・やや遅い（8.1 tok/秒）
gpt-oss-20b	メモリに溢れる・実用的（20 tok/秒）	メモリに溢れる・実用的（20 tok/秒）	メモリに溢れる・実用的（20 tok/秒）	メモリに溢れる・実用的（20 tok/秒）	メモリに溢れる・実用的（19 tok/秒）
Qwen3.6 35B-A3B	メモリに溢れる・実用的（16 tok/秒）	メモリに溢れる・実用的（16 tok/秒）	メモリに溢れる・実用的（16 tok/秒）	メモリに溢れる・実用的（16 tok/秒）	メモリに溢れる・実用的（15 tok/秒）
Qwen3 32B	メモリに溢れる・かなり遅い（2.2 tok/秒）	メモリに溢れる・かなり遅い（2.2 tok/秒）	メモリに溢れる・かなり遅い（2.2 tok/秒）	メモリに溢れる・かなり遅い（2.2 tok/秒）	メモリに溢れる・かなり遅い（2.2 tok/秒）
Llama 3.3 70B	✕ 動かない	✕ 動かない	✕ 動かない	✕ 動かない	✕ 動かない

同じVRAMでも、メモリ帯域が大きいほど速くなります。RTX 3060 Tiの帯域は448GB/sです。

RTX 3060 Tiで動く画像・動画生成AI（7モデル）

ComfyUIで使う場合の目安です（メインメモリ32GB）。精度は、そのGPUで動く範囲で一番品質の高いものを選んでいます。

モデル	おすすめの精度	必要VRAM	判定
Stable Diffusion 1.5 画像・512×512	BF16 / FP16	2.9GB	◎ 全部VRAMに載る
SDXL 1.0（Illustrious・Pony など派生含む）画像・1024×1024	BF16 / FP16	7.2GB	○ 載せ替えで動く
Stable Diffusion 3.5 Large 画像・1024×1024	GGUF Q5_K_S	6.9GB	○ 載せ替えで動く
FLUX.2 [klein] 4B 画像・1024×1024	FP8	5.2GB	○ 載せ替えで動く
Z-Image Turbo 画像・1024×1024	FP8	7.5GB	○ 載せ替えで動く
Wan 2.1 T2V 1.3B 動画・480p・5秒	BF16 / FP16	6.3GB	○ 載せ替えで動く
Wan 2.2 TI2V 5B 動画・480p・5秒	GGUF Q5_K_S	6.5GB	○ 載せ替えで動く
FLUX.1 [dev] 画像・1024×1024	GGUF Q4_K_S	8.3GB	△ 一部をメインメモリへ（遅い）
Wan 2.2 A14B（T2V・I2V）動画・480p・5秒	GGUF Q3_K_S	11.2GB	△ 一部をメインメモリへ（遅い）