目录

ComfyUI AI 视频生成入门:文生视频与图生视频

ComfyUI 不只能生成图片。近年来开源的视频模型(例如 Wan 系列、LTX-Video、HunyuanVideo 等)都可以在 ComfyUI 中使用,生成数秒的短视频。

两种主要方式

方式输入适合
文生视频(T2V)提示词从零生成画面
图生视频(I2V)一张图片 + 提示词让一张图“动起来”,画面最可控

实际使用中,图生视频最常见:先用图像模型生成满意的画面(或使用自己的照片、插画),再生成动态效果,质量和一致性都比较好。

硬件需求

视频生成非常消耗资源:

  • 显卡显存:建议 16 GB 以上;低于 12 GB 时需要使用量化版本或较小的模型,并降低分辨率和帧数。
  • 系统内存:建议 32 GB 以上。
  • 时间:一段几秒的视频,根据硬件和设置,可能需要几分钟到几十分钟。

许多视频模型提供不同大小的版本(例如参数量较小的版本),以及 FP8、GGUF 量化版本。显存不足时优先选择这些版本。

从官方模板开始

视频模型的工作流比图片复杂,强烈建议从模板开始:

  1. 菜单 → 浏览模板 → 视频(Video)分类。
  2. 选择模型和方式,例如某个模型的“图生视频”模板。
  3. 按提示下载所需的模型文件(扩散模型、文本编码器、VAE;图生视频有时还需要图像编码器),并放到对应文件夹。
  4. 在 Load Image 节点中加载起始图片,修改提示词,然后点击 Run。

主要参数

参数说明
宽 / 高视频分辨率。先用较低分辨率(例如 480p 级别)测试
帧数(length / frames)视频长度 = 帧数 ÷ 每秒帧数。部分模型要求特定的帧数(例如 4 的倍数加 1)
fps每秒帧数,根据模型建议设置(常见为 16~24)
steps、CFG根据模板建议值设置

帧数和分辨率对显存和耗时的影响最大。先用较短、较小的设置确认动作正确,再提高质量。

提示词

视频提示词除了描述画面,更重要的是描述动作和镜头:

A girl with an umbrella walks slowly along a rainy street at night, neon signs reflecting
on the wet ground. The camera slowly follows her from behind. Light rain falls.
  • 描述主体的动作(walks, turns her head, smiles)。
  • 描述镜头运动(slow zoom in, pan left, static camera)。
  • 图生视频时,不需要重复描述图片中已有的内容,重点描述“要怎么动”。

输出视频

模板通常使用 Save Video、Save WEBM 或 VideoHelperSuite 的 Video Combine 节点输出 MP4 / WebM / GIF,文件保存在 output 文件夹中。

加速技巧

  • 使用加速 LoRA(Lightning 等类型)可以把步数降到个位数,大幅缩短生成时间。
  • 使用 FP8 或 GGUF 量化模型。
  • 先用低分辨率生成,满意后再放大(视频放大也有专门的模型和工作流)。

合理预期

  • 目前大多数开源视频模型生成的都是数秒片段,长视频需要分段生成后再剪辑。
  • 复杂动作、手部和文字仍然容易出错,可以多生成几次,挑选最好的结果。
  • 模型更新很快,几个月内就可能出现更好的新模型,可以定期查看模板中的新选项。

生成真人视频时,请遵守法律和平台规范,不要制作冒充他人或具有误导性的内容。

更新于 2026年10月12日