NKB Gaming PC Builds
Hell
NKB Gaming PC Builds
Deterministischer Rechenmotor für die Bereitstellung lokaler KI-Modelle (Ollama, vLLM, llama.cpp). Simulieren Sie VRAM-Bedarf, DeepSeek MLA vs. GQA KV-Cache, Tokens/Sekunde und ATX 3.1 Netzteilanforderungen.
Der lokale Betrieb von DeepSeek-R1 70B (Q4_K_M) erfordert 43,2 GB VRAM bei einem 8k-Kontextfenster. Eine einzelne 24GB- oder 32GB-Grafikkarte führt zu einem Out-of-Memory-Fehler (CUDA OOM); eine flüssige Generierung mit 18,5 Tokens/Sek. erfordert Dual-24GB-GPUs (z.B. 2× RTX 3090 / 4090) oder eine RTX 5090 mit CPU-Offload. Die Leistungsaufnahme erreicht 820W Dauerlast und 1.350W bei 100µs Lastspitzen, was ein zertifiziertes 1200W ATX 3.1 Netzteil erforderlich macht.
Berechnen Sie reelle Geschwindigkeitsverluste bei der Aufteilung von 70B+ LLMs über CPU-Bifurkation (x8/x8) gegenüber PCH-Chipsatz-Slots (x16/x4) ohne NVLink.
ASUS ProArt X670E-Creator WiFi features true PCIe 5.0 x8/x8 CPU bifurcation to prevent chipset bottlenecks.
View on Amazon →Native P2P DMA enabled. Clean bus scaling.
Dual RTX 3090s communicating via dedicated NVLink bridge bypass the motherboard PCIe bus entirely, delivering 112.5 GB/s bidirectional P2P throughput with sub-microsecond latency. Near 100% linear scaling in both vLLM (TP=2) and llama.cpp (PP=2).
Deterministische Benchmarks für führende lokale KI-Modelle. Getestet mit Ollama v0.5+ und llama.cpp unter NVIDIA CUDA 12.8.
| Modell-Architektur | Quantisierung | Kontext | Erforderlicher VRAM | Empfohlenes GPU-Setup | Tokens/Sek | Min. ATX 3.1 Netzteil |
|---|---|---|---|---|---|---|
| DeepSeek-R1 70B (Distilled) | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 43.2 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 18.5 t/s | 1200W ATX 3.1 (Dual 12V-2x6) |
| DeepSeek-R1 70B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 76.5 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 11.2 t/s | 1600W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 20.8 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 38.0 t/s | 850W - 1000W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 34.6 GB | Single RTX 5090 32GB / Dual 16GB GPUs | 26.5 t/s | 1000W ATX 3.1 |
| DeepSeek-R1 14B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 10.4 GB | Single RTX 4070 12GB / RTX 5070 12GB | 54.0 t/s | 650W - 750W |
| DeepSeek-R1 14B (Distilled) | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.2 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 42.5 t/s | 850W ATX 3.1 |
| DeepSeek-R1 7B / 8B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 5.8 GB | Single RTX 4060 8GB / RTX 3060 12GB | 72.0 t/s | 550W |
| DeepSeek-R1 7B / 8B (Distilled) | Q8_0 (8.50 bpw) | 32,768 (GQA) | 8.9 GB | Single RTX 3060 12GB / RTX 4070 12GB | 60.5 t/s | 650W |
| DeepSeek-R1 Full 671B (MoE) | Q4_K_M (4.50 bpw) | 32,768 (MLA) | 384.0 GB | 8x RTX 3090 24GB / Mac Studio 192GB x2 | 14.0 t/s | 2x 1600W ATX 3.1 (Multi-PSU) |
| Llama 3.3 70B Instruct | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 42.8 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 19.2 t/s | 1200W ATX 3.1 |
| Llama 3.3 70B Instruct | Q8_0 (8.50 bpw) | 8,192 (GQA) | 75.8 GB | Dual RTX 6000 Ada 48GB / 4x RTX 3090 | 12.0 t/s | 1600W ATX 3.1 |
| Qwen 2.5 Coder 32B | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 21.2 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 36.8 t/s | 850W - 1000W |
| Qwen 2.5 Coder 14B | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.5 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 43.1 t/s | 850W ATX 3.1 |
| Mistral Large 2 123B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 74.2 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 10.5 t/s | 1600W ATX 3.1 |
| Command R+ 104B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 62.8 GB | Triple RTX 3090 24GB / Mac Studio 128GB | 12.8 t/s | 1500W ATX 3.1 |
Unverzichtbare Stromversorgungsbasis für Dual RTX 3090 oder RTX 5090 Workstations. Absorbiert 1.400W Lastspitzen ohne OCP-Abschaltung.
Ideal für einzelne RTX 5090 32GB oder RTX 4090 für DeepSeek-R1 32B mit hoher CPU-Vorverarbeitung.
Essentieller Arbeitsspeicher-Puffer für LLM-CPU-Auslagerungen, wenn Modellgewichte den VRAM-Puffer übersteigen.
Ermöglicht Dual-GPU-Setups auf Mainboards mit engem Slot-Abstand für optimale Kühlung und Airflow.
Technische Fakten zu VRAM-Allokation, KV-Cache-Kompression und ATX 3.1 Stromspitzen.
Nein, nicht vollständig im VRAM. Bei 4-Bit-Quantisierung (Q4_K_M) belegen allein die Modellgewichte 40,2 GB, plus 2–3 GB für den KV-Cache bei 8k Kontext, also insgesamt ~43,2 GB. Eine einzelne 24GB-Grafikkarte führt zu einem CUDA Out-of-Memory (OOM) Fehler, sofern keine Auslagerung in den System-RAM erfolgt. CPU-Offloading senkt die Geschwindigkeit von ~18,5 auf etwa 1,5 Tokens/Sek.
DeepSeek-V3 und DeepSeek-R1 nutzen Multi-Head Latent Attention (MLA). MLA komprimiert den Key-Value-Cache in einen 512-dimensionalen latenten Vektor. Dadurch benötigt DeepSeek MLA rund 85% weniger KV-Cache-VRAM als Llama 3.3 GQA bei gleicher Kontextlänge, was enorme Kontextfenster von 64k+ ermöglicht.
Der unangefochtene Preis-Leistungs-Sieger sind zwei gebrauchte NVIDIA GeForce RTX 3090 24GB (ca. 1.400–1.600 € gesamt). Dies bietet 48 GB VRAM mit 1.872 GB/s Speicherbandbreite und erreicht 18–20 Tokens/Sekunde in Ollama ohne CPU-Auslagerung.
Beim Prompt-Prefill erzeugen zwei Hochleistungs-GPUs kurzzeitige Lastspitzen von 100 Mikrosekunden von 1.300W bis 1.500W. Ältere ATX 2.x-Netzteile interpretieren diese Spikes als Kurzschluss und schalten das System ab. ATX 3.1-Netzteile sind speziell dafür gebaut, Lastspitzen von 200% schadlos abzufangen.
Der KV-Cache folgt der Formel: 2 × Schichten × Köpfe × Kopf-Dimension × Kontextlänge × Bytes. Bei FP16 benötigt ein 8.192-Kontext rund 2,6 GB VRAM. Eine 8-Bit-Quantisierung des Caches (FP8 / Q8_0) halbiert diesen Bedarf bei vernachlässigbarem Genauigkeitsverlust.
Bei der Token-Generierung sind LLMs strikt speicherbandbreitenlimitiert. Die GPU muss für jedes Token alle Modellgewichte aus dem VRAM lesen. Die Geschwindigkeit in Tokens/Sekunde entspricht näherungsweise der GPU-Speicherbandbreite (GB/s) geteilt durch die Modellgröße (GB) mal Buseffizienz (~0,80).
Unter vLLM und Tensor-Parallelismus (TP=2) müssen die GPUs bei jeder einzelnen Transformer-Ebene (80 AllReduce-Operationen pro Token bei 70B) synchronisieren. Wenn die zweite GPU in einem Chipsatz-Slot steckt, muss der Datenstrom über den DMI-Link (~3,8 GB/s real) geleitet werden und über den Hauptspeicher laufen. Dies führt zu massiven Latenzen und verringert die Generierungsrate um 50% bis 70% gegenüber einer x8/x8 CPU-Bifurkation.
Das hängt stark von der täglichen Nutzungsdauer und dem Strompreis ab. Ein Dual RTX 3090 PC kostet ca. 3.000 € in der Anschaffung (1.400 € weniger als der Mac Studio M2 Ultra für 4.399 €), verbraucht jedoch unter Volllast 820 Watt gegenüber nur 130 Watt beim Mac Studio. Bei 6 Stunden täglicher Inferenz zu deutschen Strompreisen (0,35 €/kWh) amortisiert sich der Mac Studio in unter 24 Monaten.
