目錄
執行第一個模型:ollama run 與對話技巧
開始對話
ollama run qwen3:8b
第一次會自動下載模型,接著出現提示符號:
>>> Send a message (/? for help)
直接輸入問題按 Enter 即可。按 Ctrl + D 或輸入 /bye 結束對話。
名稱與 tag
qwen3:8b 的格式和 Docker 映像檔一樣:冒號前是模型名稱,冒號後是 tag(通常代表參數量或量化版本)。不寫 tag 時使用 latest,通常指向該模型最推薦的尺寸。
ollama run gemma3 # gemma3:latest
ollama run gemma3:1b # 1B 小模型,速度快、能力較弱
ollama run gemma3:12b # 12B,需要更多記憶體
如何挑選,請看 模型選擇與硬體需求。
單次提問
把問題直接寫在指令後面,模型回答完就結束,適合寫在腳本裡:
ollama run qwen3:8b "台北有哪些適合下雨天去的景點?列出 5 個"
搭配管線處理檔案:
cat meeting-notes.txt | ollama run qwen3:8b "請把這份會議記錄整理成 5 點摘要"
多行輸入
用三個雙引號 """ 包起來:
>>> """
... 請幫我把以下內容翻譯成英文:
... 今天天氣很好,
... 我們去公園散步。
... """
互動模式指令
在 >>> 提示符號下,以 / 開頭的是 Ollama 的指令,不會送給模型:
| 指令 | 作用 |
|---|---|
/? 或 /help | 列出所有指令 |
/bye | 離開 |
/clear | 清除這次對話的記憶,重新開始 |
/show info | 查看模型資訊(參數量、上下文長度、量化方式) |
/set system "…" | 設定系統提示詞 |
/set parameter temperature 0.3 | 調整參數 |
/set verbose | 每次回答後顯示速度統計(tokens/s) |
/save 名稱 | 把目前的設定與對話存成新模型 |
/load 名稱 | 切換模型 |
查看生成速度
也可以在指令中直接加上 --verbose。下面是在一台沒有顯示卡、只有 1 核心 CPU 的小型伺服器上,用 Ollama 0.40 執行 qwen3:0.6b 的真實輸出:
$ ollama run qwen3:0.6b --think=false --verbose "用一句話介紹台北"
台北是台灣的首都,位於中東太平洋地區,座標在東北,是台灣的重要經濟與文化中心。
total duration: 46.080188811s
load duration: 33.014530786s
prompt eval count: 21 token(s)
prompt eval duration: 8.75411s
prompt eval rate: 2.40 tokens/s
eval count: 27 token(s)
eval duration: 4.179069999s
eval rate: 6.46 tokens/s
| 項目 | 意思 |
|---|---|
load duration | 把模型載入記憶體的時間(第一次執行特別久,之後模型常駐就很快) |
prompt eval rate | 處理輸入(提示詞)的速度 |
eval rate | 產生回答的速度,每秒幾個 token |
一般閱讀時,eval rate 大約要每秒 10 個 token 以上才會覺得順暢。這個例子只有 6.46,而且光載入就花了 33 秒,這就是沒有 GPU 的代價。
也請注意回答的內容:「位於中東太平洋地區」是錯的。參數越小的模型越容易一本正經地胡說八道,0.6B 這種迷你模型只適合測試或非常簡單的任務,實際使用請選擇 適合硬體的較大模型。
讓模型用繁體中文回答
很多模型看到中文問題時,預設會用簡體中文回答。最有效的方法是設定系統提示詞:
>>> /set system "你是一個樂於助人的助理。請一律使用台灣慣用的繁體中文回答。"
想永久生效,可以用 Modelfile 建立一個預設就使用繁體中文的模型。另外,中文能力較好的模型(例如 Qwen 系列)效果通常也比較好。
思考模式(推理模型)
DeepSeek-R1、Qwen3 等模型會先「思考」再回答。思考內容會顯示在答案前面。可以在指令中控制:
ollama run qwen3:8b --think=false "1+1 等於多少?" # 關閉思考,回答更快
ollama run qwen3:8b --hidethinking "..." # 思考但不顯示過程
互動模式中可以用 /set think 與 /set nothink 切換。(不同版本的 Ollama 可用的選項可能略有不同,可以輸入 /? 查看。)
讀取圖片(視覺模型)
支援視覺的模型(例如 gemma3、qwen3.5、llava)可以讀圖。把圖片路徑寫在提示詞裡:
ollama run gemma3 "這張圖片裡有什麼? ./photo.jpg"
在 Windows 上路徑可以寫成 C:\Users\you\Pictures\photo.jpg。
在背景常駐與停止模型
模型在最後一次使用後預設會在記憶體中保留 5 分鐘,下次提問不用重新載入。
ollama ps # 查看已載入的模型
ollama stop qwen3:8b # 立即從記憶體卸載
小技巧
- 問題寫得越具體,回答越好。例如「用 3 點、每點不超過 20 字說明」。
- 小模型容易「一本正經地胡說八道」,重要資訊請自行查證。
- 對話太長時模型會忘記前面的內容(受限於上下文長度),可以用
/clear重新開始。
下一節教你如何依照電腦配備挑選模型。
更新於 2026年10月12日