NKB Gaming PC Builds
Hell
NKB Gaming PC Builds
Deterministischer Rechenmotor für die Bereitstellung lokaler KI-Modelle (Ollama, vLLM, llama.cpp). Simulieren Sie VRAM-Bedarf, DeepSeek MLA vs. GQA KV-Cache, Tokens/Sekunde und ATX 3.1 Netzteilanforderungen.
Der lokale Betrieb von DeepSeek-R1 70B (Q4_K_M) erfordert 43,2 GB VRAM bei einem 8k-Kontextfenster. Eine einzelne 24GB- oder 32GB-Grafikkarte führt zu einem Out-of-Memory-Fehler (CUDA OOM); eine flüssige Generierung mit 18,5 Tokens/Sek. erfordert Dual-24GB-GPUs (z.B. 2× RTX 3090 / 4090) oder eine RTX 5090 mit CPU-Offload. Die Leistungsaufnahme erreicht 820W Dauerlast und 1.350W bei 100µs Lastspitzen, was ein zertifiziertes 1200W ATX 3.1 Netzteil erforderlich macht.
Umfassendes Gesamtkostenmodell (TCO) zum Vergleich von Hardwarepreisen, Unified Memory Headroom, Inferenzgeschwindigkeit und Stromverbrauch über 1 bis 5 Jahre.
Apple Mac Studio M2 Ultra (128GB Unified Memory) runs 70B models at 130W in total silence.
View Mac Studio on Amazon →48.5 Months until Mac Studio electricity savings offset higher initial hardware cost.
Mac Studio Advantage: 98GB usable unified memory fits DeepSeek-R1 70B at Q8 or 671B at Q2 in total silence at 130W. Limitation: Limited to Metal/MLX/llama.cpp; cannot run NVIDIA CUDA-exclusive libraries.
Dual RTX PC Advantage: Full CUDA ecosystem, FlashAttention-3, TensorRT-LLM, FP8 support, and 28+ tok/s inference. Limitation: 820W heat output and 48GB VRAM hard ceiling.
Deterministische Benchmarks für führende lokale KI-Modelle. Getestet mit Ollama v0.5+ und llama.cpp unter NVIDIA CUDA 12.8.
| Modell-Architektur | Quantisierung | Kontext | Erforderlicher VRAM | Empfohlenes GPU-Setup | Tokens/Sek | Min. ATX 3.1 Netzteil |
|---|---|---|---|---|---|---|
| DeepSeek-R1 70B (Distilled) | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 43.2 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 18.5 t/s | 1200W ATX 3.1 (Dual 12V-2x6) |
| DeepSeek-R1 70B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 76.5 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 11.2 t/s | 1600W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 20.8 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 38.0 t/s | 850W - 1000W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 34.6 GB | Single RTX 5090 32GB / Dual 16GB GPUs | 26.5 t/s | 1000W ATX 3.1 |
| DeepSeek-R1 14B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 10.4 GB | Single RTX 4070 12GB / RTX 5070 12GB | 54.0 t/s | 650W - 750W |
| DeepSeek-R1 14B (Distilled) | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.2 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 42.5 t/s | 850W ATX 3.1 |
| DeepSeek-R1 7B / 8B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 5.8 GB | Single RTX 4060 8GB / RTX 3060 12GB | 72.0 t/s | 550W |
| DeepSeek-R1 7B / 8B (Distilled) | Q8_0 (8.50 bpw) | 32,768 (GQA) | 8.9 GB | Single RTX 3060 12GB / RTX 4070 12GB | 60.5 t/s | 650W |
| DeepSeek-R1 Full 671B (MoE) | Q4_K_M (4.50 bpw) | 32,768 (MLA) | 384.0 GB | 8x RTX 3090 24GB / Mac Studio 192GB x2 | 14.0 t/s | 2x 1600W ATX 3.1 (Multi-PSU) |
| Llama 3.3 70B Instruct | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 42.8 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 19.2 t/s | 1200W ATX 3.1 |
| Llama 3.3 70B Instruct | Q8_0 (8.50 bpw) | 8,192 (GQA) | 75.8 GB | Dual RTX 6000 Ada 48GB / 4x RTX 3090 | 12.0 t/s | 1600W ATX 3.1 |
| Qwen 2.5 Coder 32B | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 21.2 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 36.8 t/s | 850W - 1000W |
| Qwen 2.5 Coder 14B | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.5 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 43.1 t/s | 850W ATX 3.1 |
| Mistral Large 2 123B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 74.2 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 10.5 t/s | 1600W ATX 3.1 |
| Command R+ 104B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 62.8 GB | Triple RTX 3090 24GB / Mac Studio 128GB | 12.8 t/s | 1500W ATX 3.1 |
Unverzichtbare Stromversorgungsbasis für Dual RTX 3090 oder RTX 5090 Workstations. Absorbiert 1.400W Lastspitzen ohne OCP-Abschaltung.
Ideal für einzelne RTX 5090 32GB oder RTX 4090 für DeepSeek-R1 32B mit hoher CPU-Vorverarbeitung.
Essentieller Arbeitsspeicher-Puffer für LLM-CPU-Auslagerungen, wenn Modellgewichte den VRAM-Puffer übersteigen.
Ermöglicht Dual-GPU-Setups auf Mainboards mit engem Slot-Abstand für optimale Kühlung und Airflow.
Technische Fakten zu VRAM-Allokation, KV-Cache-Kompression und ATX 3.1 Stromspitzen.
Nein, nicht vollständig im VRAM. Bei 4-Bit-Quantisierung (Q4_K_M) belegen allein die Modellgewichte 40,2 GB, plus 2–3 GB für den KV-Cache bei 8k Kontext, also insgesamt ~43,2 GB. Eine einzelne 24GB-Grafikkarte führt zu einem CUDA Out-of-Memory (OOM) Fehler, sofern keine Auslagerung in den System-RAM erfolgt. CPU-Offloading senkt die Geschwindigkeit von ~18,5 auf etwa 1,5 Tokens/Sek.
DeepSeek-V3 und DeepSeek-R1 nutzen Multi-Head Latent Attention (MLA). MLA komprimiert den Key-Value-Cache in einen 512-dimensionalen latenten Vektor. Dadurch benötigt DeepSeek MLA rund 85% weniger KV-Cache-VRAM als Llama 3.3 GQA bei gleicher Kontextlänge, was enorme Kontextfenster von 64k+ ermöglicht.
Der unangefochtene Preis-Leistungs-Sieger sind zwei gebrauchte NVIDIA GeForce RTX 3090 24GB (ca. 1.400–1.600 € gesamt). Dies bietet 48 GB VRAM mit 1.872 GB/s Speicherbandbreite und erreicht 18–20 Tokens/Sekunde in Ollama ohne CPU-Auslagerung.
Beim Prompt-Prefill erzeugen zwei Hochleistungs-GPUs kurzzeitige Lastspitzen von 100 Mikrosekunden von 1.300W bis 1.500W. Ältere ATX 2.x-Netzteile interpretieren diese Spikes als Kurzschluss und schalten das System ab. ATX 3.1-Netzteile sind speziell dafür gebaut, Lastspitzen von 200% schadlos abzufangen.
Der KV-Cache folgt der Formel: 2 × Schichten × Köpfe × Kopf-Dimension × Kontextlänge × Bytes. Bei FP16 benötigt ein 8.192-Kontext rund 2,6 GB VRAM. Eine 8-Bit-Quantisierung des Caches (FP8 / Q8_0) halbiert diesen Bedarf bei vernachlässigbarem Genauigkeitsverlust.
Bei der Token-Generierung sind LLMs strikt speicherbandbreitenlimitiert. Die GPU muss für jedes Token alle Modellgewichte aus dem VRAM lesen. Die Geschwindigkeit in Tokens/Sekunde entspricht näherungsweise der GPU-Speicherbandbreite (GB/s) geteilt durch die Modellgröße (GB) mal Buseffizienz (~0,80).
Unter vLLM und Tensor-Parallelismus (TP=2) müssen die GPUs bei jeder einzelnen Transformer-Ebene (80 AllReduce-Operationen pro Token bei 70B) synchronisieren. Wenn die zweite GPU in einem Chipsatz-Slot steckt, muss der Datenstrom über den DMI-Link (~3,8 GB/s real) geleitet werden und über den Hauptspeicher laufen. Dies führt zu massiven Latenzen und verringert die Generierungsrate um 50% bis 70% gegenüber einer x8/x8 CPU-Bifurkation.
Das hängt stark von der täglichen Nutzungsdauer und dem Strompreis ab. Ein Dual RTX 3090 PC kostet ca. 3.000 € in der Anschaffung (1.400 € weniger als der Mac Studio M2 Ultra für 4.399 €), verbraucht jedoch unter Volllast 820 Watt gegenüber nur 130 Watt beim Mac Studio. Bei 6 Stunden täglicher Inferenz zu deutschen Strompreisen (0,35 €/kWh) amortisiert sich der Mac Studio in unter 24 Monaten.
