NKB Gaming PC Builds
Clair
NKB Gaming PC Builds
Moteur de calcul déterministe pour le déploiement de modèles IA locaux (Ollama, vLLM, llama.cpp). Simulez l'empreinte VRAM, le cache KV MLA vs GQA, la vitesse en tokens/seconde et l'alimentation ATX 3.1 requise.
L'exécution locale de DeepSeek-R1 70B (Q4_K_M) nécessite 43,2 Go de VRAM avec un contexte de 8k. Un seul GPU de 24 Go ou 32 Go provoquera une erreur Out-of-Memory (CUDA OOM) ; une inférence fluide à 18,5 tokens/sec requiert deux GPU de 24 Go (ex. 2× RTX 3090 / 4090). La consommation atteint 820W en continu et 1 350W lors des pointes transitoires de 100µs, imposant une alimentation certifiée 1200W ATX 3.1.
Calculez la perte réelle en tokens/seconde lors de la répartition de modèles 70B+ sur deux GPU via bifurcation CPU (x8/x8) face aux slots chipset PCH (x16/x4) sans NVLink.
ASUS ProArt X670E-Creator WiFi features true PCIe 5.0 x8/x8 CPU bifurcation to prevent chipset bottlenecks.
View on Amazon →Native P2P DMA enabled. Clean bus scaling.
Dual RTX 3090s communicating via dedicated NVLink bridge bypass the motherboard PCIe bus entirely, delivering 112.5 GB/s bidirectional P2P throughput with sub-microsecond latency. Near 100% linear scaling in both vLLM (TP=2) and llama.cpp (PP=2).
Benchmarks déterministes d'ingénierie vérifiés sur Ollama v0.5+ et llama.cpp sous NVIDIA CUDA 12.8.
| Architecture du Modèle | Quantification | Contexte | VRAM Requise | Configuration GPU Conseillée | Tokens/sec | Alim. Min. ATX 3.1 |
|---|---|---|---|---|---|---|
| DeepSeek-R1 70B (Distilled) | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 43.2 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 18.5 t/s | 1200W ATX 3.1 (Dual 12V-2x6) |
| DeepSeek-R1 70B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 76.5 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 11.2 t/s | 1600W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 20.8 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 38.0 t/s | 850W - 1000W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 34.6 GB | Single RTX 5090 32GB / Dual 16GB GPUs | 26.5 t/s | 1000W ATX 3.1 |
| DeepSeek-R1 14B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 10.4 GB | Single RTX 4070 12GB / RTX 5070 12GB | 54.0 t/s | 650W - 750W |
| DeepSeek-R1 14B (Distilled) | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.2 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 42.5 t/s | 850W ATX 3.1 |
| DeepSeek-R1 7B / 8B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 5.8 GB | Single RTX 4060 8GB / RTX 3060 12GB | 72.0 t/s | 550W |
| DeepSeek-R1 7B / 8B (Distilled) | Q8_0 (8.50 bpw) | 32,768 (GQA) | 8.9 GB | Single RTX 3060 12GB / RTX 4070 12GB | 60.5 t/s | 650W |
| DeepSeek-R1 Full 671B (MoE) | Q4_K_M (4.50 bpw) | 32,768 (MLA) | 384.0 GB | 8x RTX 3090 24GB / Mac Studio 192GB x2 | 14.0 t/s | 2x 1600W ATX 3.1 (Multi-PSU) |
| Llama 3.3 70B Instruct | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 42.8 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 19.2 t/s | 1200W ATX 3.1 |
| Llama 3.3 70B Instruct | Q8_0 (8.50 bpw) | 8,192 (GQA) | 75.8 GB | Dual RTX 6000 Ada 48GB / 4x RTX 3090 | 12.0 t/s | 1600W ATX 3.1 |
| Qwen 2.5 Coder 32B | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 21.2 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 36.8 t/s | 850W - 1000W |
| Qwen 2.5 Coder 14B | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.5 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 43.1 t/s | 850W ATX 3.1 |
| Mistral Large 2 123B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 74.2 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 10.5 t/s | 1600W ATX 3.1 |
| Command R+ 104B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 62.8 GB | Triple RTX 3090 24GB / Mac Studio 128GB | 12.8 t/s | 1500W ATX 3.1 |
Alimentation indispensable pour stations double RTX 3090 ou RTX 5090. Absorbe les pointes de 1 400W sur 100µs sans disjoncter.
Idéal pour RTX 5090 32 Go ou RTX 4090 exécutant DeepSeek-R1 32B avec prétraitement CPU soutenu.
Mémoire vive système essentielle pour l'offload CPU quand le modèle dépasse la mémoire VRAM dédiée.
Permet d'espacer deux cartes graphiques puissantes pour garantir un flux d'air et un refroidissement parfaits.
Réponses d'ingénierie sur l'allocation VRAM, le cache KV et les pointes de puissance ATX 3.1.
Non, pas entièrement en VRAM. En quantification 4 bits (Q4_K_M), les poids du modèle occupent 40,2 Go, plus 2–3 Go pour le cache KV à 8k de contexte, soit ~43,2 Go. Un GPU de 24 Go déclenchera une erreur CUDA Out-of-Memory (OOM) sauf en cas de délestage CPU. Le délestage sur la RAM système fait chuter la vitesse de 18,5 à environ 1,5 tokens/sec.
DeepSeek-V3 et R1 utilisent la Multi-Head Latent Attention (MLA). MLA compresse le cache Key-Value dans un vecteur latent de dimension 512. En conséquence, DeepSeek MLA nécessite environ 85% de VRAM en moins que Llama 3.3 GQA pour la même taille de contexte, permettant des contextes de 64k+ sans saturer la mémoire.
Le compromis idéal reste deux cartes NVIDIA GeForce RTX 3090 24 Go d'occasion (environ 1 400 à 1 600 € au total). Cela fournit 48 Go de VRAM et 1 872 Go/s de bande passante globale, atteignant 18 à 20 tokens/sec sous Ollama sans aucun recours au CPU.
Lors de l'ingestion de prompts, deux cartes graphiques génèrent des pointes transitoires de 100 microsecondes allant de 1 300W à 1 500W. Les anciennes alimentations ATX 2.x déclenchent leur protection OCP et redémarrent le PC. Les alimentations certifiées ATX 3.1 absorbent 200% de surcharge transitoire en toute sécurité.
Le calcul du cache KV suit : 2 × couches × têtes × dimension × longueur_contexte × octets. En précision FP16 standard, 8 192 tokens ajoutent ~2,6 Go de VRAM. Activer la quantification du cache KV en 8 bits (FP8 / Q8_0) réduit cette consommation de moitié sans perte notable de précision.
Durant la génération de texte, les LLMs sont limités par la bande passante mémoire et non par la puissance de calcul. La vitesse en tokens/seconde équivaut approximativement à la bande passante GPU (Go/s) divisée par la taille du modèle quantifié (Go) multipliée par l'efficacité du bus (~0,80).
Sous vLLM et parallélisme tensoriel (TP=2), les GPU doivent effectuer une synchronisation AllReduce à chaque couche de transformer (80 fois par token sur un modèle 70B). Si le second GPU est branché sur un slot chipset, les transferts traversent le lien DMI (~3,8 Go/s réels) et la RAM hôte. Ce goulot d'étranglement divise par deux ou trois la vitesse par rapport à une vraie bifurcation CPU x8/x8.
Tout dépend de vos heures d'utilisation quotidiennes et du tarif d'électricité. Un PC double RTX 3090 coûte environ 3 000 € à monter (1 400 € de moins que le Mac Studio M2 Ultra à 4 399 €), mais tire 820W en continu contre 130W pour le Mac. Avec 6 heures d'inférence par jour au tarif européen (~0,25 € à 0,35 €/kWh), le Mac Studio compense son surcoût en moins de 2 ans et demi.
