目录

Ollama 教程:在本地运行开源大语言模型

Ollama 是一个可以让你在自己的电脑上运行大语言模型(LLM)的工具。只需一条命令,就能下载 Llama、Qwen、Gemma、DeepSeek、gpt-oss 等开源模型并与它们对话。数据完全保留在本地,也无需按次付费。

ollama run gemma3

本 Ollama 教程从安装开始,逐步带你学习如何通过 Python 接入、让模型返回结构化数据、调用工具,以及打造自己的本地知识库问答(RAG)。

你将学到什么

  • Ollama 是什么、能做什么,以及需要什么样的电脑
  • 如何在 Windows、macOS、Linux 上安装 Ollama
  • 如何根据显卡内存选择合适的模型和量化版本
  • 如何使用 Modelfile 打造自己的定制模型
  • 如何通过 REST API、Python、JavaScript 接入 Ollama
  • 结构化输出(JSON)、工具调用(Function calling)、文本嵌入和 RAG
  • 如何使用 Docker 部署 Ollama,并搭配 Open WebUI 创建类似 ChatGPT 的网页界面

适合哪些人

  • 想在本地试用开源 AI 模型的人
  • 重视数据隐私、不想把数据传到云端的团队
  • 想在自己的程序中添加 AI 功能的开发者

只要会在终端中输入命令就能开始。程序接入相关章节需要用到基础的 Python 或 JavaScript 知识。

快速开始

  1. 前往 ollama.com 下载并安装 Ollama(详见安装 Ollama)。

  2. 打开终端,运行:

    ollama run gemma3
  3. 等待模型下载完成后,直接输入问题并按 Enter 发送。

从什么是 Ollama开始吧。

基础入门

  1. Ollama 是什么

    了解 Ollama 的用途和运行方式,以及它与 ChatGPT 等云端服务的区别、优缺点和本地运行 AI 模型所需的电脑配置。

  2. 安装 Ollama

    一步步在 Windows、macOS、Linux 上安装 Ollama,确认 GPU 是否正确启用,并说明 Ollama 服务的启动方式、更新和卸载方法。

  3. 运行第一个模型

    使用 ollama run 下载模型并与其对话,学习交互模式命令(/set、/show、/clear、/bye)、多行输入、单次提问、读取文件和图片,以及如何让模型用简体中文回答。

  4. 模型选择与硬件需求

    教你看懂模型名称中的 7B、14B、Q4_K_M 等标识,估算每个模型需要多少显存(VRAM),并根据用途(聊天、中文、编程、看图、嵌入)推荐合适的 Ollama 模型。

  5. Ollama 命令大全

    Ollama 常用命令完整整理:run、pull、list、ps、stop、rm、show、create、cp、serve、push、signin,附参数说明与实际示例,方便收藏查阅。

高级设置

  1. Modelfile 自定义模型

    使用 Modelfile 创建自己的 Ollama 模型:设置系统提示词,调整 temperature 和 num_ctx 等参数,加入示例对话,并导入 Hugging Face 的 GGUF 模型文件。附中文助手示例。

  2. 环境变量与配置

    了解 Ollama 常用环境变量:允许局域网设备连接、修改模型存储位置、调整上下文长度、模型驻留时间和平行请求数,以及在 Windows、macOS 和 Linux 上的配置方法。

  3. GPU 与性能调优

    确认 Ollama 是否使用 GPU,解决只用 CPU 的问题,了解模型超出显卡显存时的影响,并通过上下文长度、KV cache 量化、Flash Attention 和模型尺寸等方法提升速度。

  4. 用 Docker 运行

    使用官方 ollama/ollama 镜像在 Docker 中运行 Ollama,配置 NVIDIA 和 AMD GPU、保存模型数据,并通过 Docker Compose 搭配 Open WebUI 一键启动。

API 与程序集成

  1. REST API

    Ollama REST API 入门:/api/chat 对话、/api/generate 文本生成、流式与非流式响应、options 参数、keep_alive、图片输入、思考模式,以及 OpenAI 兼容 API 的用法。

  2. Python 接入

    使用官方 ollama Python 包调用本地模型,了解 chat、流式输出、多轮对话、异步调用和远程连接,并学习通过 OpenAI Python SDK 连接 Ollama。附完整可运行示例。

  3. JavaScript 接入

    使用官方 ollama npm 包在 Node.js 和浏览器中调用 Ollama,学习 chat、流式输出、中止请求、连接配置,以及通过 fetch 和 OpenAI SDK 调用 API。

  4. 结构化输出(JSON)

    使用 Ollama 的 format 参数让模型输出符合 JSON Schema 的数据,结合 Python Pydantic 与 JavaScript Zod 定义格式,实现文本信息提取、分类和图片信息提取。

  5. 工具调用

    让 Ollama 模型调用你编写的函数来查询天气、计算和查找数据库。了解工具调用的工作流程,并查看 Python、REST API、多工具和多轮调用示例。

  6. 文本嵌入与 RAG

    使用 Ollama 嵌入模型(bge-m3、nomic-embed-text)将文本转换为向量,实现语义搜索,并用不到 60 行 Python 构建本地 RAG 知识库问答系统。介绍切块、相似度和常见改进方法。

集成应用

  1. Open WebUI 网页界面

    安装 Open WebUI 并连接 Ollama,打造类似 ChatGPT 的本地 AI 聊天网页,涵盖 Docker 与 pip 安装、连接设置、多用户账号、上传文档构建知识库问答、自定义模型和常见问题。

  2. 云端模型

    了解 Ollama 云端模型如何运行本地电脑无法处理的大模型、登录和使用方法、API 密钥、隐私考量,以及如何彻底停用云端功能。

  3. 常见问题与故障排查

    Ollama 常见问题汇总:无法连接 11434、模型下载缓慢或中断、内存不足、回答使用简体中文、回答被截断、模型胡言乱语、硬盘空间不足、如何查看日志等问题的解决方法。

更新于 2026年10月12日