Ollama GPU設定とパフォーマンス調整入門：速度が遅い原因と改善方法

ローカルモデルで最もよくある不満は「遅すぎる」というものです。多くの場合、原因はパソコンの性能不足ではなく、モデルがGPUにすべて収まっていないことです。

最初に：GPUが使われているか確認する

まずモデルを実行し、その後に状態を確認します。

ollama run qwen3:8b "こんにちは" --verbose
ollama ps

--verbose の出力にある eval rate は、1秒あたりに生成されるトークン数です。調整前後の比較に使えます。

ドライバーを更新します。ドライバーが古いことは、最もよくある原因です。
システムがGPUを認識しているか確認します。
```
nvidia-smi
```
Ollamaのログを確認し、GPU関連のメッセージを探します。
- Linux：journalctl -u ollama --no-pager | grep -i -E "gpu|cuda"
- Windows：%LOCALAPPDATA%\Ollama\server.log
- macOS：~/.ollama/logs/server.log
ノートパソコンに内蔵GPUとディスクリートGPUがある場合、OllamaがディスクリートGPUを使っているか確認します（Windowsの「グラフィックの設定」で、アプリに高パフォーマンスGPUを指定できます）。
GPUが複数ある場合は、CUDA_VISIBLE_DEVICES=0 で使うGPUを指定できます。

OllamaはROCmを通じて一部のAMD GPUをサポートしています。対応モデルの一覧は公式ドキュメントを確認してください。一覧にないGPUでも、HSA_OVERRIDE_GFX_VERSION 環境変数で近いアーキテクチャを強制指定できる場合がありますが、安定動作は保証されません。

Mシリーズチップは自動的にGPUを使用します。Macの「ユニファイドメモリ」はCPUとGPUで共有されますが、システムがGPUに割り当てるのはデフォルトでその一部（およそ3分の2から4分の3）です。モデルとコンテキストの合計がこの上限を超えないようにしてください。

効果が高い順に紹介します。

たとえば 14b から 8b に、または q8_0 から q4_K_M に切り替えます。「大きなモデルの半分がCPU上にある」状態より、通常は大幅に速くなります。詳しくはモデルの選び方とハードウェア要件をご覧ください。

コンテキストに必要なメモリ（KV cache）は、長さに応じて増えます。ollama ps の CONTEXT が大きい場合は、OLLAMA_CONTEXT_LENGTH または num_ctx を小さくしてみてください。

OLLAMA_FLASH_ATTENTION=1
OLLAMA_KV_CACHE_TYPE=q8_0

q8_0 はコンテキストのメモリ使用量をおよそ半分に抑え、品質への影響もわずかです。q4_0 はさらに節約できますが、品質への影響が大きくなります。KV cacheの量子化にはFlash Attentionが必要です。

ブラウザー、ゲーム、他のAIツールもVRAMを使います。各プログラムの使用量は nvidia-smi で確認できます。

複数のモデルを同時に読み込むと、メモリを取り合います。

ollama ps
ollama stop 不要なモデル

または、OLLAMA_MAX_LOADED_MODELS=1 を設定します。

状況	原因と対策
最初の回答だけ特に遅い	モデルを読み込み中です。`OLLAMA_KEEP_ALIVE` を長くして、モデルを常駐させます
回答が始まるまで長く待たされる	入力（プロンプト）が長く、モデルが処理に時間をかけています。この時間は主にGPUの計算性能に左右されます
推論モデルの回答が遅い	モデルが「思考」しています。深い推論が不要なら、思考モードをオフにできます
複数人で使うと遅くなる	リクエストがキューに入っています。`OLLAMA_NUM_PARALLEL` を確認してください

生成速度は主にメモリ帯域幅に左右されます。おおよその傾向は次のとおりです。

同クラスのハードウェアの一般的な水準より大幅に遅い場合、ほぼ確実にモデルの一部がCPUにあふれています。最初の手順に戻って確認してください。

更新日 2026年10月12日