NKB Gaming PC Builds
Licht
NKB Gaming PC Builds
Deterministische rekenmodule voor lokale AI-modellen (Ollama, vLLM, llama.cpp). Simuleer VRAM-verbruik, DeepSeek MLA vs GQA KV-cache, tokens/seconde en benodigd ATX 3.1 wattage.
Voor het lokaal draaien van DeepSeek-R1 70B (Q4_K_M) is 43,2 GB VRAM nodig bij 8k context. Een enkele 24GB of 32GB GPU levert een CUDA OOM fout op; vloeiende generatie op 18,5 tokens/sec vereist twee 24GB GPU's (bijv. 2× RTX 3090 / 4090). Vermogenspieken bereiken 1.350W gedurende 100µs, wat een gecertificeerde 1200W ATX 3.1 voeding vereist.
Uitgebreid Total Cost of Ownership model dat aanschafkosten, uniform geheugen, rekensnelheid en stroomkosten over 1 tot 5 jaar tegen elkaar afweegt.
Apple Mac Studio M2 Ultra (128GB Unified Memory) runs 70B models at 130W in total silence.
View Mac Studio on Amazon →48.5 Months until Mac Studio electricity savings offset higher initial hardware cost.
Mac Studio Advantage: 98GB usable unified memory fits DeepSeek-R1 70B at Q8 or 671B at Q2 in total silence at 130W. Limitation: Limited to Metal/MLX/llama.cpp; cannot run NVIDIA CUDA-exclusive libraries.
Dual RTX PC Advantage: Full CUDA ecosystem, FlashAttention-3, TensorRT-LLM, FP8 support, and 28+ tok/s inference. Limitation: 820W heat output and 48GB VRAM hard ceiling.
Deterministische benchmarks geverifieerd op Ollama v0.5+ en llama.cpp onder NVIDIA CUDA 12.8.
| Modelarchitectuur | Kwantisatie | Context | Vereist VRAM | Aanbevolen GPU-Setup | Tokens/sec | Min. ATX 3.1 Voeding |
|---|---|---|---|---|---|---|
| DeepSeek-R1 70B (Distilled) | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 43.2 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 18.5 t/s | 1200W ATX 3.1 (Dual 12V-2x6) |
| DeepSeek-R1 70B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 76.5 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 11.2 t/s | 1600W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 20.8 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 38.0 t/s | 850W - 1000W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 34.6 GB | Single RTX 5090 32GB / Dual 16GB GPUs | 26.5 t/s | 1000W ATX 3.1 |
| DeepSeek-R1 14B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 10.4 GB | Single RTX 4070 12GB / RTX 5070 12GB | 54.0 t/s | 650W - 750W |
| DeepSeek-R1 14B (Distilled) | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.2 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 42.5 t/s | 850W ATX 3.1 |
| DeepSeek-R1 7B / 8B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 5.8 GB | Single RTX 4060 8GB / RTX 3060 12GB | 72.0 t/s | 550W |
| DeepSeek-R1 7B / 8B (Distilled) | Q8_0 (8.50 bpw) | 32,768 (GQA) | 8.9 GB | Single RTX 3060 12GB / RTX 4070 12GB | 60.5 t/s | 650W |
| DeepSeek-R1 Full 671B (MoE) | Q4_K_M (4.50 bpw) | 32,768 (MLA) | 384.0 GB | 8x RTX 3090 24GB / Mac Studio 192GB x2 | 14.0 t/s | 2x 1600W ATX 3.1 (Multi-PSU) |
| Llama 3.3 70B Instruct | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 42.8 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 19.2 t/s | 1200W ATX 3.1 |
| Llama 3.3 70B Instruct | Q8_0 (8.50 bpw) | 8,192 (GQA) | 75.8 GB | Dual RTX 6000 Ada 48GB / 4x RTX 3090 | 12.0 t/s | 1600W ATX 3.1 |
| Qwen 2.5 Coder 32B | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 21.2 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 36.8 t/s | 850W - 1000W |
| Qwen 2.5 Coder 14B | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.5 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 43.1 t/s | 850W ATX 3.1 |
| Mistral Large 2 123B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 74.2 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 10.5 t/s | 1600W ATX 3.1 |
| Command R+ 104B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 62.8 GB | Triple RTX 3090 24GB / Mac Studio 128GB | 12.8 t/s | 1500W ATX 3.1 |
Onmisbare voeding voor dual RTX 3090 of RTX 5090 workstations. Vangt pieken van 1.400W gedurende 100µs moeiteloos op.
Ideaal voor enkele RTX 5090 32GB of RTX 4090 voor DeepSeek-R1 32B met CPU-ondersteuning.
Cruciaal systeemgeheugen voor LLM CPU-offloading wanneer modelgewichten het VRAM overstijgen.
Maakt dual-GPU opstellingen mogelijk op moederborden met weinig tussenruimte voor maximale koelingsluchtstroom.
Technische antwoorden over VRAM-toewijzing, KV-cache compressie en ATX 3.1 piekvermogen.
Nee, niet volledig in VRAM. Bij 4-bit kwantisatie (Q4_K_M) nemen de modelgewichten alleen al 40,2 GB in beslag, plus 2–3 GB voor de KV-cache bij 8k context, totaal ~43,2 GB. Een enkele 24GB GPU veroorzaakt een CUDA Out-of-Memory (OOM) fout tenzij er naar het systeemgeheugen wordt uitgeweken. CPU-offloading verlaagt de snelheid van ~18,5 naar slechts 1,5 tokens/sec.
DeepSeek-V3 en R1 gebruiken Multi-Head Latent Attention (MLA). MLA comprimeert de Key-Value cache in een 512-dimensionale vector. Hierdoor verbruikt DeepSeek MLA circa 85% minder KV-cache VRAM dan Llama 3.3 GQA bij dezelfde contextlengte, waardoor 64k+ context mogelijk wordt.
De absolute prijs-kwaliteit winnaar is een dubbele tweedehands NVIDIA GeForce RTX 3090 24GB (circa € 1.400–€ 1.600 totaal). Dit biedt 48 GB VRAM met 1.872 GB/s bandbreedte en levert 18–20 tokens/sec in Ollama zonder CPU-offload.
Tijdens prompt-prefill genereren twee krachtige GPU's microseconde vermogenspieken van 1.300W tot 1.500W gedurende 100µs. Oudere ATX 2.x voedingen zien dit als kortsluiting en schakelen uit. ATX 3.1 voedingen zijn gecertificeerd om vermogensuitschieters tot 200% veilig op te vangen.
Het KV-cache geheugengebruik volgt: 2 × lagen × koppen × kopdimensie × contextlengte × bytes. In standaard FP16 kost 8.192 context ~2,6 GB VRAM. Kwantisatie naar 8-bit (FP8 / Q8_0) halveert dit verbruik zonder merkbaar kwaliteitsverlies.
Tijdens token-generatie zijn LLM's strikt gebonden aan geheugenbandbreedte. De snelheid in tokens/seconde is bij benadering gelijk aan de GPU-geheugenbandbreedte (GB/s) gedeeld door de modelgrootte (GB) vermenigvuldigd met de busefficiëntie (~0,80).
Bij vLLM en tensor-parallelisme (TP=2) moeten de GPU's bij elke transformer-laag synchroniseren (80 AllReduce syncs per token bij 70B). Wanneer GPU 2 in een chipset-slot zit, moeten de data over de DMI-bus (~3,8 GB/s reëel) en via het systeem-RAM worden geleid. Dit veroorzaakt enorme wachttijden en verlaagt de snelheid met 50% tot 70% vergeleken met x8/x8 CPU-bifurcatie.
Dat hangt af van het dagelijkse gebruik en de stroomprijs. Een dual RTX 3090 pc kost ca. € 3.000 (ongeveer € 1.400 goedkoper dan de Mac Studio M2 Ultra van € 4.399), maar verbruikt 820W continu tegenover slechts 130W voor de Mac. Bij 6 uur dagelijks gebruik tegen Europese energietarieven (€ 0,35/kWh) is het prijsverschil binnen 24 maanden terugverdiend.
