目录
Ollama 教程:在本地运行开源大语言模型
Ollama 是一个可以让你在自己的电脑上运行大语言模型(LLM)的工具。只需一条命令,就能下载 Llama、Qwen、Gemma、DeepSeek、gpt-oss 等开源模型并与它们对话。数据完全保留在本地,也无需按次付费。
ollama run gemma3
本 Ollama 教程从安装开始,逐步带你学习如何通过 Python 接入、让模型返回结构化数据、调用工具,以及打造自己的本地知识库问答(RAG)。
你将学到什么
- Ollama 是什么、能做什么,以及需要什么样的电脑
- 如何在 Windows、macOS、Linux 上安装 Ollama
- 如何根据显卡内存选择合适的模型和量化版本
- 如何使用 Modelfile 打造自己的定制模型
- 如何通过 REST API、Python、JavaScript 接入 Ollama
- 结构化输出(JSON)、工具调用(Function calling)、文本嵌入和 RAG
- 如何使用 Docker 部署 Ollama,并搭配 Open WebUI 创建类似 ChatGPT 的网页界面
适合哪些人
- 想在本地试用开源 AI 模型的人
- 重视数据隐私、不想把数据传到云端的团队
- 想在自己的程序中添加 AI 功能的开发者
只要会在终端中输入命令就能开始。程序接入相关章节需要用到基础的 Python 或 JavaScript 知识。
快速开始
-
前往 ollama.com 下载并安装 Ollama(详见安装 Ollama)。
-
打开终端,运行:
ollama run gemma3 -
等待模型下载完成后,直接输入问题并按 Enter 发送。
从什么是 Ollama开始吧。
基础入门
- Ollama 是什么
了解 Ollama 的用途和运行方式,以及它与 ChatGPT 等云端服务的区别、优缺点和本地运行 AI 模型所需的电脑配置。
- 安装 Ollama
一步步在 Windows、macOS、Linux 上安装 Ollama,确认 GPU 是否正确启用,并说明 Ollama 服务的启动方式、更新和卸载方法。
- 运行第一个模型
使用 ollama run 下载模型并与其对话,学习交互模式命令(/set、/show、/clear、/bye)、多行输入、单次提问、读取文件和图片,以及如何让模型用简体中文回答。
- 模型选择与硬件需求
教你看懂模型名称中的 7B、14B、Q4_K_M 等标识,估算每个模型需要多少显存(VRAM),并根据用途(聊天、中文、编程、看图、嵌入)推荐合适的 Ollama 模型。
- Ollama 命令大全
Ollama 常用命令完整整理:run、pull、list、ps、stop、rm、show、create、cp、serve、push、signin,附参数说明与实际示例,方便收藏查阅。
高级设置
- Modelfile 自定义模型
使用 Modelfile 创建自己的 Ollama 模型:设置系统提示词,调整 temperature 和 num_ctx 等参数,加入示例对话,并导入 Hugging Face 的 GGUF 模型文件。附中文助手示例。
- 环境变量与配置
了解 Ollama 常用环境变量:允许局域网设备连接、修改模型存储位置、调整上下文长度、模型驻留时间和平行请求数,以及在 Windows、macOS 和 Linux 上的配置方法。
- GPU 与性能调优
确认 Ollama 是否使用 GPU,解决只用 CPU 的问题,了解模型超出显卡显存时的影响,并通过上下文长度、KV cache 量化、Flash Attention 和模型尺寸等方法提升速度。
- 用 Docker 运行
使用官方 ollama/ollama 镜像在 Docker 中运行 Ollama,配置 NVIDIA 和 AMD GPU、保存模型数据,并通过 Docker Compose 搭配 Open WebUI 一键启动。
API 与程序集成
- REST API
Ollama REST API 入门:/api/chat 对话、/api/generate 文本生成、流式与非流式响应、options 参数、keep_alive、图片输入、思考模式,以及 OpenAI 兼容 API 的用法。
- Python 接入
使用官方 ollama Python 包调用本地模型,了解 chat、流式输出、多轮对话、异步调用和远程连接,并学习通过 OpenAI Python SDK 连接 Ollama。附完整可运行示例。
- JavaScript 接入
使用官方 ollama npm 包在 Node.js 和浏览器中调用 Ollama,学习 chat、流式输出、中止请求、连接配置,以及通过 fetch 和 OpenAI SDK 调用 API。
- 结构化输出(JSON)
使用 Ollama 的 format 参数让模型输出符合 JSON Schema 的数据,结合 Python Pydantic 与 JavaScript Zod 定义格式,实现文本信息提取、分类和图片信息提取。
- 工具调用
让 Ollama 模型调用你编写的函数来查询天气、计算和查找数据库。了解工具调用的工作流程,并查看 Python、REST API、多工具和多轮调用示例。
- 文本嵌入与 RAG
使用 Ollama 嵌入模型(bge-m3、nomic-embed-text)将文本转换为向量,实现语义搜索,并用不到 60 行 Python 构建本地 RAG 知识库问答系统。介绍切块、相似度和常见改进方法。
集成应用
- Open WebUI 网页界面
安装 Open WebUI 并连接 Ollama,打造类似 ChatGPT 的本地 AI 聊天网页,涵盖 Docker 与 pip 安装、连接设置、多用户账号、上传文档构建知识库问答、自定义模型和常见问题。
- 云端模型
了解 Ollama 云端模型如何运行本地电脑无法处理的大模型、登录和使用方法、API 密钥、隐私考量,以及如何彻底停用云端功能。
- 常见问题与故障排查
Ollama 常见问题汇总:无法连接 11434、模型下载缓慢或中断、内存不足、回答使用简体中文、回答被截断、模型胡言乱语、硬盘空间不足、如何查看日志等问题的解决方法。
更新于 2026年10月12日