NKB Gaming PC Builds
ライト
NKB Gaming PC Builds
ローカルAIモデル（Ollama、vLLM、llama.cpp）向け確定論的計算エンジン。VRAM使用量、DeepSeek MLA vs GQAのKVキャッシュ、トークン生成速度、ATX 3.1推奨電源容量をシミュレート。
DeepSeek-R1 70B (Q4_K_M) をローカルで8kコンテキストで動作させるには、43.2 GBのVRAM が必要です。単一の24GBまたは32GB GPUではメモリ不足（CUDA OOM）が発生し、18.5 トークン/秒 の安定動作には デュアル24GB GPU（例：RTX 3090 / 4090 ×2） が必須です。過渡電流スパイクは100µsで 1,350W に達するため、認証済みの 1200W ATX 3.1 電源 が求められます。
本体初期購入価格、統合メモリ容量、推論速度、1〜5年間の消費電力・電気代を含めた総所有コスト(TCO)を詳細にモデル化。
Apple Mac Studio M2 Ultra (128GB Unified Memory) runs 70B models at 130W in total silence.
View Mac Studio on Amazon →48.5 Months until Mac Studio electricity savings offset higher initial hardware cost.
Mac Studio Advantage: 98GB usable unified memory fits DeepSeek-R1 70B at Q8 or 671B at Q2 in total silence at 130W. Limitation: Limited to Metal/MLX/llama.cpp; cannot run NVIDIA CUDA-exclusive libraries.
Dual RTX PC Advantage: Full CUDA ecosystem, FlashAttention-3, TensorRT-LLM, FP8 support, and 28+ tok/s inference. Limitation: 820W heat output and 48GB VRAM hard ceiling.
主要なローカルAIモデルのエンジニアリングベンチマーク。NVIDIA CUDA 12.8環境のOllama v0.5+およびllama.cppで検証済み。
| モデルアーキテクチャ | 量子化 | コンテキスト | 必要VRAM | 推奨GPU構成 | トークン/秒 | 最小 ATX 3.1 電源 |
|---|---|---|---|---|---|---|
| DeepSeek-R1 70B (Distilled) | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 43.2 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 18.5 t/s | 1200W ATX 3.1 (Dual 12V-2x6) |
| DeepSeek-R1 70B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 76.5 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 11.2 t/s | 1600W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 20.8 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 38.0 t/s | 850W - 1000W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 34.6 GB | Single RTX 5090 32GB / Dual 16GB GPUs | 26.5 t/s | 1000W ATX 3.1 |
| DeepSeek-R1 14B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 10.4 GB | Single RTX 4070 12GB / RTX 5070 12GB | 54.0 t/s | 650W - 750W |
| DeepSeek-R1 14B (Distilled) | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.2 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 42.5 t/s | 850W ATX 3.1 |
| DeepSeek-R1 7B / 8B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 5.8 GB | Single RTX 4060 8GB / RTX 3060 12GB | 72.0 t/s | 550W |
| DeepSeek-R1 7B / 8B (Distilled) | Q8_0 (8.50 bpw) | 32,768 (GQA) | 8.9 GB | Single RTX 3060 12GB / RTX 4070 12GB | 60.5 t/s | 650W |
| DeepSeek-R1 Full 671B (MoE) | Q4_K_M (4.50 bpw) | 32,768 (MLA) | 384.0 GB | 8x RTX 3090 24GB / Mac Studio 192GB x2 | 14.0 t/s | 2x 1600W ATX 3.1 (Multi-PSU) |
| Llama 3.3 70B Instruct | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 42.8 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 19.2 t/s | 1200W ATX 3.1 |
| Llama 3.3 70B Instruct | Q8_0 (8.50 bpw) | 8,192 (GQA) | 75.8 GB | Dual RTX 6000 Ada 48GB / 4x RTX 3090 | 12.0 t/s | 1600W ATX 3.1 |
| Qwen 2.5 Coder 32B | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 21.2 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 36.8 t/s | 850W - 1000W |
| Qwen 2.5 Coder 14B | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.5 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 43.1 t/s | 850W ATX 3.1 |
| Mistral Large 2 123B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 74.2 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 10.5 t/s | 1600W ATX 3.1 |
| Command R+ 104B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 62.8 GB | Triple RTX 3090 24GB / Mac Studio 128GB | 12.8 t/s | 1500W ATX 3.1 |
RTX 3090 2枚挿しやRTX 5090ワークステーションに必須。100µsの瞬間1,400WスパイクをOCP遮断なしで安全に吸収。
DeepSeek-R1 32BをCPU併用で運用するRTX 5090 32GBまたはRTX 4090単体環境に最適。
モデル重みが専用VRAMを超過した際のCPU RAMオフロードに必須のメインメモリバッファ。
スロット間隔が狭いマザーボードで2枚の大型GPUを分離配置し、理想的なエアフローを確保。
VRAM使用量、KVキャッシュ圧縮、ATX 3.1過渡電力、推論速度に関するエンジニアリング解説。
いいえ、全レイヤーをVRAM内に収めて動かすことは不可能です。4ビット量子化（Q4_K_M）時でもモデル重みだけで40.2 GB、8kコンテキストのKVキャッシュで2〜3 GB、合計約43.2 GBを消費します。24GB GPU単体ではCUDA Out-of-Memory（OOM）が発生し、システムRAMへのオフロードが必要となります。CPUオフロードを行うと速度は毎秒約18.5トークンから1.5トークン程度まで激減します。
DeepSeek-V3およびR1はMulti-Head Latent Attention（MLA）を採用しています。MLAはKVキャッシュを512次元の低ランク潜在ベクトルに圧縮して保持します。そのため、同じコンテキスト長においてLlama 3.3 GQAと比較してKVキャッシュのVRAM消費を約85%削減でき、VRAM圧迫なしに64k以上の超長大コンテキストを処理できます。
圧倒的なコストパフォーマンスを誇るのは、中古のNVIDIA GeForce RTX 3090 24GB ×2枚構成です（合計約20万〜24万円）。合計48GBのVRAMと1,872 GB/sの広帯域メモリバスを確保でき、OllamaやvLLMでCPUオフロードなしに毎秒18〜20トークンの高速推論を実現できます。
プロンプトの読み込み時や推論開始時に、2枚のハイエンドGPUは100マイクロ秒（100µs）の間に1,300W〜1,500Wに達する過渡電流スパイク（過渡電力ピーク）を発生させます。従来のATX 2.x電源ではこれを短絡と誤認して保護回路（OCP）が作動し、突然再起動します。ATX 3.1電源は定格の200%までの瞬間スパイクを許容する設計となっています。
KVキャッシュの計算式は「2 × レイヤー数 × ヘッド数 × ヘッド次元 × コンテキスト長 × バイト数」です。標準的なFP16精度では、8,192トークンで約2.6 GBのVRAMを消費します。llama.cpp等の8ビットKV量子化（FP8 / Q8_0）を有効にすると、生成精度を落とすことなくKVキャッシュ容量を半減できます。
テキスト生成（デコード段階）において、LLMの処理速度は計算性能ではなくメモリ帯域幅に完全に依存します（Memory-Bandwidth Bound）。GPUはトークンを1つ生成するごとにVRAM上の全モデル重みを読み出す必要があります。そのためトークン生成速度（tok/s）は「GPUメモリ帯域幅(GB/s) ÷ 量子化モデル容量(GB) × メモリバス効率(~0.80)」に概ね比例します。
vLLMやテンソル並列(TP=2)では、70Bモデルの場合1トークン生成ごとに80回(全層)のAllReduce通信がGPU間で発生します。第2スロットがチップセット経由の場合、通信が低速なDMIバス(~3.8 GB/s)とCPUメインメモリを経由するため激しい同期遅延が発生し、CPU直結x8/x8分割構成と比べて生成速度が50〜70%も低下します。
1日の稼働時間と電気料金単価に依存します。自作デュアルRTX 3090環境は約45万円(Mac Studio M2 Ultra 128GBの約65万円より約20万円安価)ですが、高負荷時の消費電力は820Wに達します(Macはわずか130W)。1日6時間以上毎日推論を行い日本の標準的な電気料金(31円/kWh)で計算した場合、約2年半〜3年で消費電力の差額がハードウェア初期費用差を相殺します。
