NKB Gaming PC Builds
Claro
NKB Gaming PC Builds
Motor de cálculo determinista para modelos de IA locales (Ollama, vLLM, llama.cpp). Simula el uso de VRAM, compresión de caché KV DeepSeek MLA vs GQA, velocidad en tokens/segundo y fuente ATX 3.1.
Ejecutar DeepSeek-R1 70B (Q4_K_M) localmente requiere 43.2 GB de VRAM con 8k de contexto. Una sola GPU de 24GB o 32GB provocará fallo CUDA OOM; una inferencia fluida a 18.5 tokens/seg exige doble GPU de 24GB (ej. 2× RTX 3090 / 4090). El consumo alcanza 820W continuo y 1,350W en picos transitorios de 100µs, exigiendo una fuente certificada ATX 3.1 de 1200W.
Ajusta parámetros, cuantización, contexto y GPU para comprobar la compatibilidad en tiempo real.
Cero descarga a RAM de CPU. Máximo rendimiento de generación.
Puntos de referencia verificados en Ollama v0.5+ y llama.cpp con NVIDIA CUDA 12.8.
| Arquitectura del Modelo | Cuantización | Contexto | VRAM Requerida | Configuración GPU Recomendada | Tokens/seg | Fuente Mín. ATX 3.1 |
|---|---|---|---|---|---|---|
| DeepSeek-R1 70B (Distilled) | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 43.2 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 18.5 t/s | 1200W ATX 3.1 (Dual 12V-2x6) |
| DeepSeek-R1 70B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 76.5 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 11.2 t/s | 1600W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 20.8 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 38.0 t/s | 850W - 1000W ATX 3.1 |
| DeepSeek-R1 32B (Distilled) | Q8_0 (8.50 bpw) | 8,192 (GQA) | 34.6 GB | Single RTX 5090 32GB / Dual 16GB GPUs | 26.5 t/s | 1000W ATX 3.1 |
| DeepSeek-R1 14B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 10.4 GB | Single RTX 4070 12GB / RTX 5070 12GB | 54.0 t/s | 650W - 750W |
| DeepSeek-R1 14B (Distilled) | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.2 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 42.5 t/s | 850W ATX 3.1 |
| DeepSeek-R1 7B / 8B (Distilled) | Q4_K_M (4.50 bpw) | 32,768 (GQA) | 5.8 GB | Single RTX 4060 8GB / RTX 3060 12GB | 72.0 t/s | 550W |
| DeepSeek-R1 7B / 8B (Distilled) | Q8_0 (8.50 bpw) | 32,768 (GQA) | 8.9 GB | Single RTX 3060 12GB / RTX 4070 12GB | 60.5 t/s | 650W |
| DeepSeek-R1 Full 671B (MoE) | Q4_K_M (4.50 bpw) | 32,768 (MLA) | 384.0 GB | 8x RTX 3090 24GB / Mac Studio 192GB x2 | 14.0 t/s | 2x 1600W ATX 3.1 (Multi-PSU) |
| Llama 3.3 70B Instruct | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 42.8 GB | Dual RTX 3090 24GB / Dual RTX 4090 | 19.2 t/s | 1200W ATX 3.1 |
| Llama 3.3 70B Instruct | Q8_0 (8.50 bpw) | 8,192 (GQA) | 75.8 GB | Dual RTX 6000 Ada 48GB / 4x RTX 3090 | 12.0 t/s | 1600W ATX 3.1 |
| Qwen 2.5 Coder 32B | Q4_K_M (4.50 bpw) | 16,384 (GQA) | 21.2 GB | Single RTX 3090 24GB / RTX 4090 / RTX 5090 | 36.8 t/s | 850W - 1000W |
| Qwen 2.5 Coder 14B | Q8_0 (8.50 bpw) | 16,384 (GQA) | 16.5 GB | Single RTX 4070 Ti Super 16GB / RTX 5080 | 43.1 t/s | 850W ATX 3.1 |
| Mistral Large 2 123B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 74.2 GB | Triple RTX 3090 24GB / Dual RTX 6000 Ada | 10.5 t/s | 1600W ATX 3.1 |
| Command R+ 104B | Q4_K_M (4.50 bpw) | 8,192 (GQA) | 62.8 GB | Triple RTX 3090 24GB / Mac Studio 128GB | 12.8 t/s | 1500W ATX 3.1 |
Base de alimentación obligatoria para estaciones duales RTX 3090 o RTX 5090. Absorbe picos transitorios de 1,400W en 100µs sin cortes por OCP.
Ideal para RTX 5090 de 32GB o RTX 4090 ejecutando DeepSeek-R1 32B con preprocesamiento intensivo de tokens en CPU.
Amortiguador de memoria del sistema esencial para el offload a CPU cuando los modelos superan el VRAM dedicado.
Permite configuraciones de doble GPU en placas base con espacio estrecho para garantizar un flujo de aire de refrigeración óptimo.
Respuestas técnicas fundamentales sobre asignación de VRAM, compresión de caché KV y picos de potencia ATX 3.1.
No, no completamente en VRAM. Con cuantización de 4 bits (Q4_K_M), los pesos del modelo consumen 40.2 GB, más 2–3 GB para el caché KV con contexto de 8k, sumando ~43.2 GB. Una sola GPU de 24GB provocará un error CUDA Out-of-Memory (OOM) a menos que se descargue parte a la RAM del sistema en Ollama o llama.cpp. Descargar a CPU reduce la velocidad de ~18.5 tokens/seg a solo 1.5 tokens/seg.
DeepSeek-V3 y DeepSeek-R1 utilizan Multi-Head Latent Attention (MLA). MLA comprime el caché Key-Value en un vector latente de 512 dimensiones en lugar de almacenar todos los estados de atención. Por ello, DeepSeek MLA consume aproximadamente un 85% menos de VRAM en caché KV que Llama 3.3 GQA con el mismo contexto, permitiendo ventanas de más de 64k tokens.
La combinación reina en relación calidad-precio son dos tarjetas NVIDIA GeForce RTX 3090 de 24GB usadas (unos $1,400–$1,600 en total). Esto proporciona 48GB de VRAM con 1,872 GB/s de ancho de banda, logrando 18–20 tokens/seg en Ollama con cero descarga a CPU.
Durante el procesamiento de prompts, dos GPUs de alta potencia generan picos de corriente transitorios de 100 microsegundos que alcanzan 1,300W a 1,500W. Las fuentes ATX 2.x antiguas confunden estos picos con cortocircuitos y disparan la protección OCP, reiniciando el equipo. Las fuentes ATX 3.1 están diseñadas para tolerar excursiones del 200% de potencia con total estabilidad.
El cálculo del caché KV sigue la fórmula: 2 × capas × cabezales × dimensión × tokens × bytes. En precisión estándar FP16, un contexto de 8,192 añade ~2.6 GB de VRAM. Activar cuantización de caché KV a 8 bits (FP8 / Q8_0) reduce el consumo a la mitad sin pérdida medible de calidad.
Durante la generación de texto (fase de decodificación), los modelos de lenguaje están limitados por el ancho de banda de memoria (Memory Bandwidth Bound), no por potencia de cómputo. La velocidad en tokens/segundo es aproximadamente igual al ancho de banda de la GPU (GB/s) dividido por el tamaño del modelo cuantizado (GB) multiplicado por la eficiencia del bus (~0.80).
