NKB Gaming PC Builds
Licht
NKB Gaming PC Builds
Deterministische rekenmodule voor lokale AI-modellen (Ollama, vLLM, llama.cpp). Simuleer VRAM-verbruik, DeepSeek MLA vs GQA KV-cache, tokens/seconde en benodigd ATX 3.1 wattage.
Voor het lokaal draaien van DeepSeek-R1 70B (Q4_K_M) is 43,2 GB VRAM nodig bij 8k context. Een enkele 24GB of 32GB GPU levert een CUDA OOM fout op; vloeiende generatie op 18,5 tokens/sec vereist twee 24GB GPU's (bijv. 2ร RTX 3090 / 4090). Vermogenspieken bereiken 1.350W gedurende 100ยตs, wat een gecertificeerde 1200W ATX 3.1 voeding vereist.
Pas modelparameters, kwantisatie, context en GPU-hardware aan voor live compatibiliteit.
Geen CPU-geheugen offload. Maximale generatiesnelheid.
Deterministische benchmarks geverifieerd op Ollama v0.5+ en llama.cpp onder NVIDIA CUDA 12.8.
| Modelarchitectuur | Kwantisatie | Context | Vereist VRAM | Aanbevolen GPU-Setup | Tokens/sec | Min. ATX 3.1 Voeding |
|---|---|---|---|---|---|---|
| DeepSeek-R1 70B (Distilled) | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 43.2 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 18.5 t/s | 1200W ATX 3.1 (Dual 12V-2x6) |
| DeepSeek-R1 70B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 76.5 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 11.2 t/s | 1600W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 20.8 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 38.0 t/s | 850W - 1000W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 34.6 GB | Single RTX 5090 32GB / Dual 16GB GPUs | 26.5 t/s | 1000W ATX 3.1 |
| DeepSeek-R1 14B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 10.4 GB | Single RTX 4070 12GB / RTX 5070 12GB | 54.0 t/s | 650W - 750W |
| DeepSeek-R1 14B (Distilled) | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.2 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 42.5 t/s | 850W ATX 3.1 |
| DeepSeek-R1 7B / 8B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 5.8 GB | Single RTX 4060 8GB / RTX 3060 12GB | 72.0 t/s | 550W |
| DeepSeek-R1 7B / 8B (Distilled) | Q8_0 (8.50 bpw) | 32,768 (GQA) | 8.9 GB | Single RTX 3060 12GB / RTX 4070 12GB | 60.5 t/s | 650W |
| DeepSeek-R1 Full 671B (MoE) | Q4_K_M (4.50 bpw) | 32,768 (MLA) | 384.0 GB | 8x RTX 3090 24GB / Mac Studio 192GB x2 | 14.0 t/s | 2x 1600W ATX 3.1 (Multi-PSU) |
| Llama 3.3 70B Instruct | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 42.8 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 19.2 t/s | 1200W ATX 3.1 |
| Llama 3.3 70B Instruct | Q8_0 (8.50 bpw) | 8,192 (GQA) | 75.8 GB | Dual RTX 6000 Ada 48GB / 4x RTX 3090 | 12.0 t/s | 1600W ATX 3.1 |
| Qwen 2.5 Coder 32B | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 21.2 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 36.8 t/s | 850W - 1000W |
| Qwen 2.5 Coder 14B | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.5 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 43.1 t/s | 850W ATX 3.1 |
| Mistral Large 2 123B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 74.2 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 10.5 t/s | 1600W ATX 3.1 |
| Command R+ 104B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 62.8 GB | Triple RTX 3090 24GB / Mac Studio 128GB | 12.8 t/s | 1500W ATX 3.1 |
Onmisbare voeding voor dual RTX 3090 of RTX 5090 workstations. Vangt pieken van 1.400W gedurende 100ยตs moeiteloos op.
Ideaal voor enkele RTX 5090 32GB of RTX 4090 voor DeepSeek-R1 32B met CPU-ondersteuning.
Cruciaal systeemgeheugen voor LLM CPU-offloading wanneer modelgewichten het VRAM overstijgen.
Maakt dual-GPU opstellingen mogelijk op moederborden met weinig tussenruimte voor maximale koelingsluchtstroom.
Technische antwoorden over VRAM-toewijzing, KV-cache compressie en ATX 3.1 piekvermogen.
Nee, niet volledig in VRAM. Bij 4-bit kwantisatie (Q4_K_M) nemen de modelgewichten alleen al 40,2 GB in beslag, plus 2โ3 GB voor de KV-cache bij 8k context, totaal ~43,2 GB. Een enkele 24GB GPU veroorzaakt een CUDA Out-of-Memory (OOM) fout tenzij er naar het systeemgeheugen wordt uitgeweken. CPU-offloading verlaagt de snelheid van ~18,5 naar slechts 1,5 tokens/sec.
DeepSeek-V3 en R1 gebruiken Multi-Head Latent Attention (MLA). MLA comprimeert de Key-Value cache in een 512-dimensionale vector. Hierdoor verbruikt DeepSeek MLA circa 85% minder KV-cache VRAM dan Llama 3.3 GQA bij dezelfde contextlengte, waardoor 64k+ context mogelijk wordt.
De absolute prijs-kwaliteit winnaar is een dubbele tweedehands NVIDIA GeForce RTX 3090 24GB (circa โฌ 1.400โโฌ 1.600 totaal). Dit biedt 48 GB VRAM met 1.872 GB/s bandbreedte en levert 18โ20 tokens/sec in Ollama zonder CPU-offload.
Tijdens prompt-prefill genereren twee krachtige GPU's microseconde vermogenspieken van 1.300W tot 1.500W gedurende 100ยตs. Oudere ATX 2.x voedingen zien dit als kortsluiting en schakelen uit. ATX 3.1 voedingen zijn gecertificeerd om vermogensuitschieters tot 200% veilig op te vangen.
Het KV-cache geheugengebruik volgt: 2 ร lagen ร koppen ร kopdimensie ร contextlengte ร bytes. In standaard FP16 kost 8.192 context ~2,6 GB VRAM. Kwantisatie naar 8-bit (FP8 / Q8_0) halveert dit verbruik zonder merkbaar kwaliteitsverlies.
Tijdens token-generatie zijn LLM's strikt gebonden aan geheugenbandbreedte. De snelheid in tokens/seconde is bij benadering gelijk aan de GPU-geheugenbandbreedte (GB/s) gedeeld door de modelgrootte (GB) vermenigvuldigd met de busefficiรซntie (~0,80).
