目錄

執行第一個模型:ollama run 與對話技巧

開始對話

ollama run qwen3:8b

第一次會自動下載模型,接著出現提示符號:

>>> Send a message (/? for help)

直接輸入問題按 Enter 即可。按 Ctrl + D 或輸入 /bye 結束對話。

名稱與 tag

qwen3:8b 的格式和 Docker 映像檔一樣:冒號前是模型名稱,冒號後是 tag(通常代表參數量或量化版本)。不寫 tag 時使用 latest,通常指向該模型最推薦的尺寸。

ollama run gemma3        # gemma3:latest
ollama run gemma3:1b     # 1B 小模型,速度快、能力較弱
ollama run gemma3:12b    # 12B,需要更多記憶體

如何挑選,請看 模型選擇與硬體需求。

單次提問

把問題直接寫在指令後面,模型回答完就結束,適合寫在腳本裡:

ollama run qwen3:8b "台北有哪些適合下雨天去的景點?列出 5 個"

搭配管線處理檔案:

cat meeting-notes.txt | ollama run qwen3:8b "請把這份會議記錄整理成 5 點摘要"

多行輸入

用三個雙引號 """ 包起來:

>>> """
... 請幫我把以下內容翻譯成英文:
... 今天天氣很好,
... 我們去公園散步。
... """

互動模式指令

在 >>> 提示符號下,以 / 開頭的是 Ollama 的指令,不會送給模型:

指令作用
/? 或 /help列出所有指令
/bye離開
/clear清除這次對話的記憶,重新開始
/show info查看模型資訊(參數量、上下文長度、量化方式)
/set system "…"設定系統提示詞
/set parameter temperature 0.3調整參數
/set verbose每次回答後顯示速度統計(tokens/s)
/save 名稱把目前的設定與對話存成新模型
/load 名稱切換模型

查看生成速度

也可以在指令中直接加上 --verbose。下面是在一台沒有顯示卡、只有 1 核心 CPU 的小型伺服器上,用 Ollama 0.40 執行 qwen3:0.6b 的真實輸出:

$ ollama run qwen3:0.6b --think=false --verbose "用一句話介紹台北"
台北是台灣的首都,位於中東太平洋地區,座標在東北,是台灣的重要經濟與文化中心。

total duration:       46.080188811s
load duration:        33.014530786s
prompt eval count:    21 token(s)
prompt eval duration: 8.75411s
prompt eval rate:     2.40 tokens/s
eval count:           27 token(s)
eval duration:        4.179069999s
eval rate:            6.46 tokens/s
項目意思
load duration把模型載入記憶體的時間(第一次執行特別久,之後模型常駐就很快)
prompt eval rate處理輸入(提示詞)的速度
eval rate產生回答的速度,每秒幾個 token

一般閱讀時,eval rate 大約要每秒 10 個 token 以上才會覺得順暢。這個例子只有 6.46,而且光載入就花了 33 秒,這就是沒有 GPU 的代價。

也請注意回答的內容:「位於中東太平洋地區」是錯的。參數越小的模型越容易一本正經地胡說八道,0.6B 這種迷你模型只適合測試或非常簡單的任務,實際使用請選擇 適合硬體的較大模型。

讓模型用繁體中文回答

很多模型看到中文問題時,預設會用簡體中文回答。最有效的方法是設定系統提示詞:

>>> /set system "你是一個樂於助人的助理。請一律使用台灣慣用的繁體中文回答。"

想永久生效,可以用 Modelfile 建立一個預設就使用繁體中文的模型。另外,中文能力較好的模型(例如 Qwen 系列)效果通常也比較好。

思考模式(推理模型)

DeepSeek-R1、Qwen3 等模型會先「思考」再回答。思考內容會顯示在答案前面。可以在指令中控制:

ollama run qwen3:8b --think=false "1+1 等於多少?"   # 關閉思考,回答更快
ollama run qwen3:8b --hidethinking "..."            # 思考但不顯示過程

互動模式中可以用 /set think 與 /set nothink 切換。(不同版本的 Ollama 可用的選項可能略有不同,可以輸入 /? 查看。)

讀取圖片(視覺模型)

支援視覺的模型(例如 gemma3、qwen3.5、llava)可以讀圖。把圖片路徑寫在提示詞裡:

ollama run gemma3 "這張圖片裡有什麼? ./photo.jpg"

在 Windows 上路徑可以寫成 C:\Users\you\Pictures\photo.jpg。

在背景常駐與停止模型

模型在最後一次使用後預設會在記憶體中保留 5 分鐘,下次提問不用重新載入。

ollama ps              # 查看已載入的模型
ollama stop qwen3:8b   # 立即從記憶體卸載

小技巧

  • 問題寫得越具體,回答越好。例如「用 3 點、每點不超過 20 字說明」。
  • 小模型容易「一本正經地胡說八道」,重要資訊請自行查證。
  • 對話太長時模型會忘記前面的內容(受限於上下文長度),可以用 /clear 重新開始。

下一節教你如何依照電腦配備挑選模型。

更新於 2026年10月12日