NKB Gaming PC Builds
Chiaro
NKB Gaming PC Builds
Motore di calcolo deterministico per modelli IA locali (Ollama, vLLM, llama.cpp). Simula l'impronta VRAM, compressione cache KV DeepSeek MLA vs GQA, velocità in token/sec e requisiti alimentatore ATX 3.1.
Eseguire DeepSeek-R1 70B (Q4_K_M) in locale richiede 43,2 GB di VRAM con contesto 8k. Una singola GPU da 24GB o 32GB genererà un errore CUDA OOM; un'inferenza fluida a 18,5 token/sec richiede due GPU da 24GB (es. 2× RTX 3090 / 4090). I picchi transitori raggiungono 1.350W a 100µs, rendendo obbligatorio un alimentatore ATX 3.1 da 1200W.
Calcola la perdita effettiva in token/secondo nella ripartizione di LLM 70B+ su due GPU tramite biforcazione CPU (x8/x8) rispetto agli slot del chipset PCH (x16/x4) senza NVLink.
ASUS ProArt X670E-Creator WiFi features true PCIe 5.0 x8/x8 CPU bifurcation to prevent chipset bottlenecks.
View on Amazon →Native P2P DMA enabled. Clean bus scaling.
Dual RTX 3090s communicating via dedicated NVLink bridge bypass the motherboard PCIe bus entirely, delivering 112.5 GB/s bidirectional P2P throughput with sub-microsecond latency. Near 100% linear scaling in both vLLM (TP=2) and llama.cpp (PP=2).
Benchmark di ingegneria verificati su Ollama v0.5+ e llama.cpp con NVIDIA CUDA 12.8.
| Architettura Modello | Quantizzazione | Contesto | VRAM Richiesta | Configurazione GPU Consigliata | Token/sec | PSU Min. ATX 3.1 |
|---|---|---|---|---|---|---|
| DeepSeek-R1 70B (Distilled) | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 43.2 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 18.5 t/s | 1200W ATX 3.1 (Dual 12V-2x6) |
| DeepSeek-R1 70B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 76.5 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 11.2 t/s | 1600W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 20.8 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 38.0 t/s | 850W - 1000W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 34.6 GB | Single RTX 5090 32GB / Dual 16GB GPUs | 26.5 t/s | 1000W ATX 3.1 |
| DeepSeek-R1 14B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 10.4 GB | Single RTX 4070 12GB / RTX 5070 12GB | 54.0 t/s | 650W - 750W |
| DeepSeek-R1 14B (Distilled) | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.2 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 42.5 t/s | 850W ATX 3.1 |
| DeepSeek-R1 7B / 8B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 5.8 GB | Single RTX 4060 8GB / RTX 3060 12GB | 72.0 t/s | 550W |
| DeepSeek-R1 7B / 8B (Distilled) | Q8_0 (8.50 bpw) | 32,768 (GQA) | 8.9 GB | Single RTX 3060 12GB / RTX 4070 12GB | 60.5 t/s | 650W |
| DeepSeek-R1 Full 671B (MoE) | Q4_K_M (4.50 bpw) | 32,768 (MLA) | 384.0 GB | 8x RTX 3090 24GB / Mac Studio 192GB x2 | 14.0 t/s | 2x 1600W ATX 3.1 (Multi-PSU) |
| Llama 3.3 70B Instruct | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 42.8 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 19.2 t/s | 1200W ATX 3.1 |
| Llama 3.3 70B Instruct | Q8_0 (8.50 bpw) | 8,192 (GQA) | 75.8 GB | Dual RTX 6000 Ada 48GB / 4x RTX 3090 | 12.0 t/s | 1600W ATX 3.1 |
| Qwen 2.5 Coder 32B | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 21.2 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 36.8 t/s | 850W - 1000W |
| Qwen 2.5 Coder 14B | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.5 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 43.1 t/s | 850W ATX 3.1 |
| Mistral Large 2 123B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 74.2 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 10.5 t/s | 1600W ATX 3.1 |
| Command R+ 104B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 62.8 GB | Triple RTX 3090 24GB / Mac Studio 128GB | 12.8 t/s | 1500W ATX 3.1 |
Base di alimentazione fondamentale per workstation a doppia RTX 3090 o RTX 5090. Gestisce picchi da 1.400W su 100µs.
Ideale per RTX 5090 da 32GB o RTX 4090 che eseguono DeepSeek-R1 32B con pre-elaborazione CPU.
Memoria di sistema fondamentale per l'offload CPU quando i pesi del modello superano la VRAM della GPU.
Permette configurazioni multi-GPU su schede madri con slot ravvicinati garantendo flusso d'aria ottimale.
Risposte tecniche su allocazione VRAM, compressione cache KV e picchi transitori ATX 3.1.
No, non interamente in VRAM. Con quantizzazione a 4 bit (Q4_K_M), i pesi del modello occupano 40,2 GB, più 2–3 GB per la cache KV a 8k di contesto, per un totale di ~43,2 GB. Una sola GPU da 24GB causerà un errore CUDA Out-of-Memory (OOM) a meno di ricorrere all'offload su CPU, che fa precipitare la velocità da 18,5 a circa 1,5 token/sec.
DeepSeek-V3 e R1 utilizzano la Multi-Head Latent Attention (MLA). MLA comprime la cache Key-Value in un vettore latente compatto di 512 dimensioni. Di conseguenza, DeepSeek MLA consuma circa l'85% in meno di VRAM rispetto a Llama 3.3 GQA a parità di contesto, rendendo possibili finestre di 64k+ token.
La configurazione imbattibile per rapporto prezzo/prestazioni è composta da due NVIDIA GeForce RTX 3090 da 24GB usate (circa 1.400–1.600 € totali). Offre 48GB di VRAM e 1.872 GB/s di larghezza di banda, raggiungendo 18–20 token/sec in Ollama con zero offload su CPU.
Durante l'elaborazione dei prompt, due GPU ad alta potenza generano picchi transitori di 100 microsecondi compresi tra 1.300W e 1.500W. I vecchi alimentatori ATX 2.x attivano la protezione OCP causando riavvii improvvisi. Gli alimentatori ATX 3.1 gestiscono picchi fino al 200% senza alcuna instabilità.
Il consumo di memoria della cache KV segue la formula: 2 × layer × teste × dim_testa × lunghezza_contesto × byte. In FP16 standard, 8.192 token richiedono ~2,6 GB di VRAM. Attivare la quantizzazione a 8 bit (FP8 / Q8_0) dimezza il consumo con impatto trascurabile sulla qualità.
Durante la generazione dei token, i modelli linguistici sono strettamente limitati dalla larghezza di banda della memoria. La velocità in token/secondo è pari alla larghezza di banda della GPU (GB/s) divisa per la dimensione del modello (GB) moltiplicata per l'efficienza del bus (~0,80).
In vLLM con parallelismo tensoriale (TP=2), le GPU devono sincronizzarsi a ogni livello transformer (80 volte per token su un modello 70B). Con lo slot su chipset, i dati attraversano il bus DMI (~3.8 GB/s reali) rimbalzando sulla RAM di sistema. Questo collo di bottiglia taglia la velocità dal 50% al 70% rispetto a schede madri con biforcazione CPU x8/x8.
Dipende dalle ore di utilizzo e dal costo del kWh. Il PC costa circa 3.000 € (1.400 € in meno rispetto ai 4.399 € del Mac Studio M2 Ultra), ma consuma 820W a pieno carico contro i soli 130W del Mac. Con 6 ore di inferenza al giorno a tariffe europee (0,30 €/kWh), il Mac Studio recupera il maggior costo iniziale in circa 2 anni.
