NKB Gaming PC Builds
ライト
NKB Gaming PC Builds
ローカルAIモデル（Ollama、vLLM、llama.cpp）向け確定論的計算エンジン。VRAM使用量、DeepSeek MLA vs GQAのKVキャッシュ、トークン生成速度、ATX 3.1推奨電源容量をシミュレート。
DeepSeek-R1 70B (Q4_K_M) をローカルで8kコンテキストで動作させるには、43.2 GBのVRAM が必要です。単一の24GBまたは32GB GPUではメモリ不足（CUDA OOM）が発生し、18.5 トークン/秒 の安定動作には デュアル24GB GPU（例：RTX 3090 / 4090 ×2） が必須です。過渡電流スパイクは100µsで 1,350W に達するため、認証済みの 1200W ATX 3.1 電源 が求められます。
モデルパラメータ、量子化、コンテキスト長、GPU構成をリアルタイムに調整して検証できます。
メインメモリへのオフロードなし。最高のスループットを発揮します。
主要なローカルAIモデルのエンジニアリングベンチマーク。NVIDIA CUDA 12.8環境のOllama v0.5+およびllama.cppで検証済み。
| モデルアーキテクチャ | 量子化 | コンテキスト | 必要VRAM | 推奨GPU構成 | トークン/秒 | 最小 ATX 3.1 電源 |
|---|---|---|---|---|---|---|
| DeepSeek-R1 70B (Distilled) | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 43.2 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 18.5 t/s | 1200W ATX 3.1 (Dual 12V-2x6) |
| DeepSeek-R1 70B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 76.5 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 11.2 t/s | 1600W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 20.8 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 38.0 t/s | 850W - 1000W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 34.6 GB | Single RTX 5090 32GB / Dual 16GB GPUs | 26.5 t/s | 1000W ATX 3.1 |
| DeepSeek-R1 14B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 10.4 GB | Single RTX 4070 12GB / RTX 5070 12GB | 54.0 t/s | 650W - 750W |
| DeepSeek-R1 14B (Distilled) | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.2 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 42.5 t/s | 850W ATX 3.1 |
| DeepSeek-R1 7B / 8B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 5.8 GB | Single RTX 4060 8GB / RTX 3060 12GB | 72.0 t/s | 550W |
| DeepSeek-R1 7B / 8B (Distilled) | Q8_0 (8.50 bpw) | 32,768 (GQA) | 8.9 GB | Single RTX 3060 12GB / RTX 4070 12GB | 60.5 t/s | 650W |
| DeepSeek-R1 Full 671B (MoE) | Q4_K_M (4.50 bpw) | 32,768 (MLA) | 384.0 GB | 8x RTX 3090 24GB / Mac Studio 192GB x2 | 14.0 t/s | 2x 1600W ATX 3.1 (Multi-PSU) |
| Llama 3.3 70B Instruct | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 42.8 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 19.2 t/s | 1200W ATX 3.1 |
| Llama 3.3 70B Instruct | Q8_0 (8.50 bpw) | 8,192 (GQA) | 75.8 GB | Dual RTX 6000 Ada 48GB / 4x RTX 3090 | 12.0 t/s | 1600W ATX 3.1 |
| Qwen 2.5 Coder 32B | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 21.2 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 36.8 t/s | 850W - 1000W |
| Qwen 2.5 Coder 14B | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.5 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 43.1 t/s | 850W ATX 3.1 |
| Mistral Large 2 123B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 74.2 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 10.5 t/s | 1600W ATX 3.1 |
| Command R+ 104B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 62.8 GB | Triple RTX 3090 24GB / Mac Studio 128GB | 12.8 t/s | 1500W ATX 3.1 |
RTX 3090 2枚挿しやRTX 5090ワークステーションに必須。100µsの瞬間1,400WスパイクをOCP遮断なしで安全に吸収。
DeepSeek-R1 32BをCPU併用で運用するRTX 5090 32GBまたはRTX 4090単体環境に最適。
モデル重みが専用VRAMを超過した際のCPU RAMオフロードに必須のメインメモリバッファ。
スロット間隔が狭いマザーボードで2枚の大型GPUを分離配置し、理想的なエアフローを確保。
VRAM使用量、KVキャッシュ圧縮、ATX 3.1過渡電力、推論速度に関するエンジニアリング解説。
いいえ、全レイヤーをVRAM内に収めて動かすことは不可能です。4ビット量子化（Q4_K_M）時でもモデル重みだけで40.2 GB、8kコンテキストのKVキャッシュで2〜3 GB、合計約43.2 GBを消費します。24GB GPU単体ではCUDA Out-of-Memory（OOM）が発生し、システムRAMへのオフロードが必要となります。CPUオフロードを行うと速度は毎秒約18.5トークンから1.5トークン程度まで激減します。
DeepSeek-V3およびR1はMulti-Head Latent Attention（MLA）を採用しています。MLAはKVキャッシュを512次元の低ランク潜在ベクトルに圧縮して保持します。そのため、同じコンテキスト長においてLlama 3.3 GQAと比較してKVキャッシュのVRAM消費を約85%削減でき、VRAM圧迫なしに64k以上の超長大コンテキストを処理できます。
圧倒的なコストパフォーマンスを誇るのは、中古のNVIDIA GeForce RTX 3090 24GB ×2枚構成です（合計約20万〜24万円）。合計48GBのVRAMと1,872 GB/sの広帯域メモリバスを確保でき、OllamaやvLLMでCPUオフロードなしに毎秒18〜20トークンの高速推論を実現できます。
プロンプトの読み込み時や推論開始時に、2枚のハイエンドGPUは100マイクロ秒（100µs）の間に1,300W〜1,500Wに達する過渡電流スパイク（過渡電力ピーク）を発生させます。従来のATX 2.x電源ではこれを短絡と誤認して保護回路（OCP）が作動し、突然再起動します。ATX 3.1電源は定格の200%までの瞬間スパイクを許容する設計となっています。
KVキャッシュの計算式は「2 × レイヤー数 × ヘッド数 × ヘッド次元 × コンテキスト長 × バイト数」です。標準的なFP16精度では、8,192トークンで約2.6 GBのVRAMを消費します。llama.cpp等の8ビットKV量子化（FP8 / Q8_0）を有効にすると、生成精度を落とすことなくKVキャッシュ容量を半減できます。
テキスト生成（デコード段階）において、LLMの処理速度は計算性能ではなくメモリ帯域幅に完全に依存します（Memory-Bandwidth Bound）。GPUはトークンを1つ生成するごとにVRAM上の全モデル重みを読み出す必要があります。そのためトークン生成速度（tok/s）は「GPUメモリ帯域幅(GB/s) ÷ 量子化モデル容量(GB) × メモリバス効率(~0.80)」に概ね比例します。
