Ollama 是什么？本地运行大型语言模型教程

一句话说明

Ollama 是一个用于在自己的电脑上下载、管理和运行开源大型语言模型的工具。你可以把它想成「AI 模型界的 Docker」：

Docker	Ollama
`docker pull nginx`	`ollama pull llama3.2`
`docker run nginx`	`ollama run llama3.2`
`docker ps`	`ollama ps`
Dockerfile	Modelfile

Ollama 能做什么

聊天问答：像 ChatGPT 一样对话，但模型运行在你的电脑上。
读图：支持视觉功能的模型可以描述图片、识别文字。
写代码：使用代码专用模型协助编写和解释代码。
作为 API 服务器：Ollama 在后台提供 HTTP API（默认 http://localhost:11434），你的程序、网页界面或其他工具都可以调用它。
生成文本嵌入：把文本转换成向量，用于语义搜索和 RAG（让模型根据你的文档回答）。

运行方式

ollama run qwen3
     │
     ▼
Ollama 服务（在后台运行，监听 11434 端口）
     │  1. 本地没有模型 → 从 ollama.com 下载
     │  2. 将模型加载到显卡内存（VRAM）或系统内存
     ▼
推理引擎生成回答 → 逐字输出到终端或 API

模型下载后会保存在你的硬盘上，之后不需要联网也能使用。

本地模型 vs 云端 AI 服务

	本地（Ollama）	云端（ChatGPT、Gemini 等）
数据隐私	数据不会离开你的电脑	数据会发送给服务提供商
费用	免费（电费和硬件除外）	订阅或按用量付费
离线使用	可以	不行
模型能力	受硬件限制，无法运行大型模型	可以使用最强的模型
速度	取决于显卡	通常很快
设置与维护	需要自己处理	不需要

本地模型的能力与顶尖云端模型仍有差距，但在摘要、翻译、分类、数据提取、代码辅助等日常任务中，中型开源模型已经相当好用。

Ollama 也提供云端模型，可以通过相同的命令和 API 使用更大的模型，详见云端模型。

需要什么样的电脑

决定能运行多大模型的关键是内存，特别是显卡内存（VRAM）。

你的电脑	大约可以流畅运行
8 GB 内存、没有独立显卡	1B～4B 的小模型（速度较慢）
16 GB 内存的 Apple Silicon Mac	7B～8B 模型
8 GB VRAM 的 NVIDIA 显卡	7B～8B 模型
16～24 GB VRAM	14B～32B 模型
32 GB 以上统一内存的 Mac	30B 级模型

（按常见的 4 位量化版本估算，详见模型选择与硬件需求。）

NVIDIA 显卡：支持最完善，速度最快。
Apple Silicon（M 系列）Mac：统一内存让 Mac 可以运行比同价位 PC 更大的模型，表现很好。
AMD 显卡：部分型号支持。
只有 CPU：可以运行，但速度明显较慢，适合小模型。

常见的开源模型系列

模型	开发者	特色
Llama	Meta	最知名的开源模型系列之一
Qwen	阿里巴巴	中文能力强，尺寸选择多
Gemma	Google	小尺寸表现好，部分版本支持看图
DeepSeek-R1	DeepSeek	会先「思考」再回答的推理模型
gpt-oss	OpenAI	OpenAI 发布的开放权重模型
Mistral	Mistral AI	欧洲团队开发，效率高

完整的模型列表可以在 ollama.com 的 Models 页面查看，新模型通常会在发布后很快上架。

小结

Ollama 让你通过简单的命令在本地运行开源 AI 模型
它同时也是一个 API 服务器，方便集成到其他程序中
能运行多大的模型取决于内存，特别是显卡内存

下一节我们来安装 Ollama。

更新于 2026年10月12日