Llama 3.3 70BはLlama系の、70.55Bのモデルです。70Bの定番。用途の目安は汎用(会話・文章作成)、扱える文脈の長さは最大128K(公開 2024年12月6日)。
| 量子化 | 文脈8K | 文脈32K | 文脈128K |
|---|---|---|---|
| Q4_K_M(4bit・定番) | 47.0GB | 55.3GB | 88.5GB |
| Q5_K_M(5bit) | 54.6GB | 62.9GB | 96.1GB |
| Q6_K(6bit) | 62.7GB | 71.0GB | 104GB |
| Q8_0(8bit・ほぼ劣化なし) | 79.8GB | 88.1GB | 121GB |
| BF16(無圧縮) | 147GB | 156GB | 189GB |
迷ったら Q4_K_M(4bit)が定番です。文脈(一度に読ませる長さ)を伸ばすほど、会話の記憶分のメモリが増えます。
今回比較したグラボ1枚には丸ごと載りません。メインメモリに一部を逃がすか、メモリの大きいMacを検討してください。
グラボだけでなくPC一式で買うなら、BTOパソコンのショップでグラボを選んで構成できます。このモデルは4bitで丸ごと載るグラボがないため、メインメモリを多め(64GB以上)に積んで一部を逃がす構成か、下のMac・共有メモリのPCを検討してください。
パーツの型番まで選べるショップなら パソコンショップSEVENでBTOパソコンを見る
静かさや冷却にこだわるなら BTOパソコンのサイコム![]()
| GPU・PC | おすすめの量子化 | 必要メモリ | 判定 | 速度の目安 | 価格.com最安 |
|---|---|---|---|---|---|
| Ryzen AI Max+ 395(128GB) 共有メモリ 128GB | Q8_0 | 79.8GB | ◎ 余裕 | かなり遅い(2.0 tok/秒) | — |
| Mac M4 Max(128GB) 共有メモリ 128GB | Q8_0 | 79.8GB | ◎ 余裕 | かなり遅い(4.4 tok/秒) | — |
| Mac M3 Ultra(256GB) 共有メモリ 256GB | BF16 | 147GB | ◎ 余裕 | かなり遅い(3.5 tok/秒) | — |
動きますが、速度は大きく落ちます。
| GPU・PC | おすすめの量子化 | 必要メモリ | 判定 | 速度の目安 | 価格.com最安 |
|---|---|---|---|---|---|
| RTX 3090 VRAM 24GB | Q4_K_M | 47.0GB | △ 溢れる | かなり遅い(1.4 tok/秒) | 約330,791円 |
| Radeon RX 7900 XTX VRAM 24GB | Q4_K_M | 47.0GB | △ 溢れる | かなり遅い(1.4 tok/秒) | 約359,800円 |
| RTX 4090 VRAM 24GB | Q4_K_M | 47.0GB | △ 溢れる | かなり遅い(1.4 tok/秒) | 約848,000円 |
| RTX 5090 VRAM 32GB | Q4_K_M | 47.0GB | △ 溢れる | かなり遅い(2.2 tok/秒) | 約1,189,800円 |
導入の手順は ローカルLLMの始め方(Ollama・LM Studioの違い) にまとめています。
計算は llama.cpp(Ollama・LM Studio)でGGUF形式を使う場合の目安で、±10〜20%程度ずれることがあります。モデルの諸元は配布元の設定ファイル(config.json)から算出(データ更新 2026年9月27日)、価格は価格.comの最安値(2026-10-14)。