Ollama 是什麼？在本機執行大型語言模型

一句話說明

Ollama 是一個在自己電腦上下載、管理與執行開源大型語言模型的工具。你可以把它想成「AI 模型界的 Docker」：

Docker	Ollama
`docker pull nginx`	`ollama pull llama3.2`
`docker run nginx`	`ollama run llama3.2`
`docker ps`	`ollama ps`
Dockerfile	Modelfile

Ollama 能做什麼

聊天問答：像 ChatGPT 一樣對話，但模型跑在你的電腦上。
讀圖：支援視覺功能的模型可以描述圖片、辨識文字。
寫程式：使用程式碼專用模型協助撰寫與解釋程式碼。
當作 API 伺服器：Ollama 在背景提供 HTTP API（預設 http://localhost:11434），你的程式、網頁介面或其他工具都可以呼叫它。
產生文字嵌入：把文字轉成向量，用來做語意搜尋與 RAG（讓模型根據你的文件回答）。

運作方式

ollama run qwen3
     │
     ▼
Ollama 服務（背景執行，監聽 11434 連接埠）
     │  1. 本機沒有模型 → 從 ollama.com 下載
     │  2. 把模型載入顯示卡記憶體（VRAM）或系統記憶體
     ▼
推論引擎產生回答 → 逐字輸出到終端機或 API

模型下載後就存在你的硬碟裡，之後不需要網路也能使用。

本機模型 vs 雲端 AI 服務

	本機（Ollama）	雲端（ChatGPT、Gemini 等）
資料隱私	資料不離開你的電腦	資料傳送到服務商
費用	免費（電費與硬體除外）	訂閱或按用量付費
離線使用	可以	不行
模型能力	受限於你的硬體，大模型跑不動	可以使用最強的模型
速度	取決於顯示卡	通常很快
設定與維護	需要自己處理	不需要

本機模型的能力和頂尖的雲端模型仍有差距，但在摘要、翻譯、分類、資料擷取、程式輔助等日常任務上，中型開源模型已經相當好用。

Ollama 也提供雲端模型，可以在相同的指令與 API 中使用更大的模型，詳見雲端模型。

需要什麼樣的電腦

決定能跑多大模型的關鍵是記憶體，特別是顯示卡記憶體（VRAM）。

你的電腦	大約可以順暢執行
8 GB 記憶體、沒有獨立顯示卡	1B～4B 的小模型（速度較慢）
16 GB 記憶體的 Apple Silicon Mac	7B～8B 模型
8 GB VRAM 的 NVIDIA 顯示卡	7B～8B 模型
16～24 GB VRAM	14B～32B 模型
32 GB 以上統一記憶體的 Mac	30B 級模型

（以常見的 4 位元量化版本估算，詳見模型選擇與硬體需求。）

NVIDIA 顯示卡：支援最完整，速度最快。
Apple Silicon（M 系列）Mac：統一記憶體讓 Mac 可以跑比同價位 PC 更大的模型，表現很好。
AMD 顯示卡：部分型號支援。
只有 CPU：可以執行，但速度明顯較慢，適合小模型。

常見的開源模型家族

模型	開發者	特色
Llama	Meta	最知名的開源模型家族之一
Qwen	阿里巴巴	中文能力強，尺寸選擇多
Gemma	Google	小尺寸表現好，部分版本支援看圖
DeepSeek-R1	DeepSeek	會先「思考」再回答的推理模型
gpt-oss	OpenAI	OpenAI 釋出的開放權重模型
Mistral	Mistral AI	歐洲團隊，效率佳

完整的模型列表在 ollama.com 的 Models 頁面，新模型通常發布後很快就會上架。

小結

Ollama 讓你用簡單的指令在本機執行開源 AI 模型
它同時是一個 API 伺服器，方便整合到其他程式
能跑多大的模型取決於記憶體，特別是顯示卡記憶體

下一節我們來安裝 Ollama。

更新於 2026年10月12日