Tutorial de GPU no Ollama: configuração e desempenho

A reclamação mais comum sobre modelos locais é que eles são “lentos demais”. Na maioria dos casos, o problema não é o computador ser fraco, mas o modelo não caber inteiro na GPU.

Primeiro passo: confirme se a GPU está sendo usada

Execute um modelo e depois confira:

ollama run qwen3:8b "Olá" --verbose
ollama ps

O eval rate exibido por --verbose é a quantidade de tokens gerados por segundo. Use esse valor para comparar o desempenho antes e depois dos ajustes.

A placa NVIDIA não está sendo usada

1. Atualize o driver. Drivers desatualizados são a causa mais comum.

2. Confira se o sistema reconhece a placa de vídeo:

   nvidia-smi

3. Consulte os logs do Ollama e procure mensagens relacionadas à GPU:

   • Linux: journalctl -u ollama --no-pager | grep -i -E "gpu|cuda"
   • Windows: %LOCALAPPDATA%\Ollama\server.log
   • macOS: ~/.ollama/logs/server.log

4. Em notebooks com GPU integrada e dedicada, confirme se o Ollama está usando a placa dedicada. No Windows, você pode escolher a GPU de alto desempenho em “Configurações de gráficos”.

5. Se houver várias placas de vídeo, use CUDA_VISIBLE_DEVICES=0 para especificar quais delas devem ser usadas.

Placas de vídeo AMD

O Ollama oferece suporte a algumas placas de vídeo AMD por meio do ROCm. Consulte a documentação oficial para ver a lista de modelos compatíveis. Em alguns casos, placas que não aparecem na lista podem funcionar se você definir uma arquitetura semelhante com a variável de ambiente HSA_OVERRIDE_GFX_VERSION, mas não há garantia de estabilidade.

Macs com Apple Silicon

Os chips da série M usam a GPU automaticamente. A “memória unificada” do Mac é compartilhada entre CPU e GPU, mas, por padrão, o sistema permite que a GPU use apenas uma parte dela (cerca de dois terços a três quartos). O modelo e o contexto juntos não podem ultrapassar esse limite.

O que fazer quando o modelo não cabe na GPU

Em ordem de eficácia:

1. Escolha um modelo menor ou uma versão quantizada

Por exemplo, troque 14b por 8b, ou q8_0 por q4_K_M. Em geral, isso é muito mais rápido do que usar um modelo grande com metade dele na CPU. Consulte Como escolher um modelo e os requisitos de hardware.

2. Reduza o tamanho do contexto

A memória necessária para o contexto (cache KV) aumenta conforme o tamanho dele. Se o valor de CONTEXT em ollama ps for alto, tente reduzir OLLAMA_CONTEXT_LENGTH ou num_ctx.

3. Quantize o cache KV

OLLAMA_FLASH_ATTENTION=1
OLLAMA_KV_CACHE_TYPE=q8_0

q8_0 pode reduzir aproximadamente pela metade o uso de memória do contexto, com pouco impacto na qualidade. q4_0 economiza ainda mais, mas tem um impacto maior na qualidade. A quantização do cache KV requer Flash Attention.

4. Feche outros programas que usam a memória da GPU

Navegadores, jogos e outras ferramentas de IA também usam VRAM. Use nvidia-smi para conferir o uso de cada programa.

5. Carregue um modelo por vez

Vários modelos carregados ao mesmo tempo disputam a memória:

ollama ps
ollama stop modelo-que-nao-precisa

Você também pode definir OLLAMA_MAX_LOADED_MODELS=1.

Outros fatores que afetam a velocidade

Referência aproximada de velocidade

A velocidade de geração é limitada principalmente pela largura de banda da memória. Em geral:

• Na mesma placa de vídeo, quanto maior o modelo, mais lento ele fica. A velocidade é aproximadamente inversamente proporcional ao tamanho do arquivo do modelo.
• A partir de 20 tokens por segundo, a leitura fica fluida; abaixo de 10 tokens por segundo, dá para sentir a espera.

Se a velocidade estiver muito abaixo do esperado para um hardware equivalente, quase certamente parte do modelo está usando a CPU. Volte ao primeiro passo e confira.

Atualizado 12 de outubro de 2026