目錄

在 ComfyUI 使用 Flux、Qwen-Image 等新一代圖像模型

SD 1.5、SDXL 之後,新一代的開源圖像模型(例如 Black Forest Labs 的 Flux 系列、阿里巴巴的 Qwen-Image 系列,以及其他持續推出的模型)在畫面品質、提示詞理解、文字繪製上都有明顯進步。ComfyUI 通常會在模型發布後很快提供支援。

和 SDXL 的主要差異

SD 1.5 / SDXL新一代模型(Flux、Qwen-Image 等)
模型大小2~7 GB常見 10~20 GB 以上(另有壓縮版本)
模型檔案一個 checkpoint擴散模型、文字編碼器、VAE 常分開
提示詞關鍵字為主理解完整句子,能畫出指定的文字
負向提示詞有效許多模型不使用(CFG 為 1)
顯示卡記憶體6~8 GB 可用建議 12 GB 以上,或使用量化版本

最簡單的開始方式:官方範本

新模型的節點組合與參數各不相同,最可靠的方式是使用 ComfyUI 內建的範本:

ComfyUI 範本視窗
範本(Templates)視窗:依用途分類,第一次開啟 ComfyUI 時會自動出現(ComfyUI 0.39)
  1. 選單 → 瀏覽範本(Browse Templates)。
  2. 找到想用的模型分類,例如 Flux 或 Qwen-Image,選擇文生圖範本。
  3. 載入後,如果缺少模型,ComfyUI 通常會顯示需要下載的檔案清單與下載連結,甚至可以直接下載到正確的資料夾。
  4. 確認每個載入節點都選到正確的檔案,按 Run。

範本中的參數(步數、取樣器、guidance)就是官方建議的設定,先用它們生成,熟悉後再調整。

檔案放置方式

分開的模型檔通常是這樣放:

models/
├── diffusion_models/   flux 或 qwen-image 的主模型
├── text_encoders/      文字編碼器(例如 clip_l、t5xxl、qwen 等,依模型而定)
└── vae/                模型專用的 VAE

對應的節點:

檔案節點
主模型Load Diffusion Model(UNETLoader)
文字編碼器Load CLIP、DualCLIPLoader 等,type 選擇對應的模型
VAELoad VAE

不同模型使用的文字編碼器與 VAE 不同,不能混用。依照範本或模型頁面的說明下載。

顯示卡記憶體不足時

版本說明
FP8檔案約為原本的一半,品質損失小。在 Load Diffusion Model 的 weight_dtype 也可以選擇 fp8
GGUF 量化(Q8、Q6、Q5、Q4…)更小,需要 ComfyUI-GGUF 自訂節點,用它的載入節點取代 Load Diffusion Model / Load CLIP
蒸餾 / 加速版本步數更少(例如 4~8 步),速度快很多

ComfyUI 會自動把放不下的部分移到系統記憶體(速度較慢),所以即使顯示卡記憶體略為不足,通常仍可執行,只是比較慢。系統記憶體建議 32 GB 以上。

提示詞寫法

新一代模型理解自然語言,用完整的句子描述畫面:

A cozy bookstore in an old Taipei alley at dusk. A hand-painted wooden sign above the
door says "Corner Books" in neat white letters. Warm light spills onto the wet street,
and a black cat sits by the doorway. Shot on a 35mm film camera.
  • 想在圖中出現文字時,用引號把文字括起來。
  • 描述構圖、光線、鏡頭,比堆疊「masterpiece, best quality」之類的詞有效。
  • 部分模型(例如 Qwen-Image)對中文提示詞與中文字的繪製也有不錯的支援。

圖像編輯模型

除了文生圖,新一代模型也有專門的編輯模型(例如 Flux Kontext、Qwen-Image-Edit):輸入一張圖片和一句指令,例如:

把背景換成下雪的街道,人物保持不變

不需要手動畫遮罩,就能換背景、改衣服顏色、移除物品、修改圖片中的文字。在範本中搜尋 Edit 或 Kontext 即可找到對應的工作流程。

LoRA 與 ControlNet

新模型也有對應的 LoRA 與 ControlNet,但必須是為該模型訓練的版本。SDXL 的 LoRA 不能用在 Flux 上。載入新模型的 LoRA 時,通常使用 LoraLoaderModelOnly 節點。

授權

新一代模型的授權差異很大:有些可以商業使用,有些只限非商業用途(例如部分 Flux 版本),有些需要額外取得授權。用於商業用途前,請務必確認模型的授權條款。

更新於 2026年10月12日