Configuración de GPU en Ollama: tutorial para mejorar el rendimiento

La queja más habitual sobre los modelos locales es que «van demasiado lentos». En la mayoría de los casos, el problema no es que el ordenador sea insuficiente, sino que el modelo no cabe por completo en la GPU.

Paso 1: comprueba si se está usando la GPU

Primero ejecuta un modelo y luego consulta:

ollama run qwen3:8b "Hola" --verbose
ollama ps

El eval rate que muestra --verbose indica cuántos tokens se generan por segundo y sirve para comparar el rendimiento antes y después de los ajustes.

La tarjeta gráfica NVIDIA no se está usando

1. Actualiza los controladores. Los controladores demasiado antiguos son la causa más habitual.

2. Comprueba que el sistema reconoce la tarjeta gráfica:

   nvidia-smi

3. Revisa los registros de Ollama y busca mensajes relacionados con la GPU:

   • Linux: journalctl -u ollama --no-pager | grep -i -E "gpu|cuda"
   • Windows: %LOCALAPPDATA%\Ollama\server.log
   • macOS: ~/.ollama/logs/server.log

4. Si el portátil tiene gráficos integrados y dedicados, comprueba que Ollama use la tarjeta dedicada (en Windows, puedes asignar la GPU de alto rendimiento en «Configuración de gráficos»).

5. Si tienes varias tarjetas gráficas, puedes usar CUDA_VISIBLE_DEVICES=0 para indicar cuáles usar.

Tarjetas gráficas AMD

Ollama admite algunas tarjetas gráficas AMD mediante ROCm. Consulta la documentación oficial para ver la lista de modelos compatibles. En ocasiones, las tarjetas que no aparecen en la lista pueden forzarse a usar una arquitectura similar mediante la variable de entorno HSA_OVERRIDE_GFX_VERSION, pero no se garantiza la estabilidad.

Mac con Apple Silicon

Los chips de la serie M usan automáticamente la GPU. La «memoria unificada» del Mac es compartida por la CPU y la GPU, pero el sistema solo permite que la GPU use una parte de forma predeterminada (aproximadamente entre dos tercios y tres cuartos). El modelo y el contexto no pueden superar ese límite.

Qué hacer si el modelo no cabe en la GPU

Estas opciones están ordenadas por efectividad:

1. Cambia a un modelo más pequeño o a una versión cuantizada

Por ejemplo, pasa de 14b a 8b o de q8_0 a q4_K_M. Por lo general, será mucho más rápido que usar un modelo grande con la mitad en la CPU. Consulta Cómo elegir un modelo y los requisitos de hardware.

2. Reduce la longitud del contexto

La memoria que necesita el contexto (KV cache) aumenta con su longitud. Si CONTEXT en ollama ps es muy alto, prueba a reducir OLLAMA_CONTEXT_LENGTH o num_ctx.

3. Cuantiza la KV cache

OLLAMA_FLASH_ATTENTION=1
OLLAMA_KV_CACHE_TYPE=q8_0

q8_0 puede reducir aproximadamente a la mitad el uso de memoria del contexto, con un efecto mínimo en la calidad; q4_0 ahorra más, pero afecta más a la calidad. La cuantización de la KV cache requiere Flash Attention.

4. Cierra otros programas que ocupen memoria de la GPU

Los navegadores, los juegos y otras herramientas de IA ocupan VRAM. Usa nvidia-smi para ver el consumo de cada programa.

5. Carga un solo modelo a la vez

Varios modelos cargados al mismo tiempo compiten por la memoria:

ollama ps
ollama stop modelo-que-no-necesitas

También puedes establecer OLLAMA_MAX_LOADED_MODELS=1.

Otros factores que afectan a la velocidad

Referencia aproximada de velocidad

La velocidad de generación está limitada principalmente por el ancho de banda de memoria. En general:

• En una misma tarjeta gráfica, cuanto más grande es el modelo, más lento va; la velocidad es aproximadamente inversa al tamaño del archivo del modelo.
• A partir de 20 tokens por segundo, la lectura resulta fluida; por debajo de 10 tokens por segundo, notarás la espera.

Si la velocidad está muy por debajo de lo habitual para un hardware equivalente, casi seguro que parte del modelo se ha desbordado a la CPU. Vuelve al primer paso y compruébalo.

Actualizado 12 de octubre de 2026