目次
ComfyUI動画生成入門:テキストから動画・画像から動画を生成
ComfyUIでは画像だけでなく動画も生成できます。近年登場したオープンソースの動画モデル(Wanシリーズ、LTX-Video、HunyuanVideoなど)はComfyUIで利用でき、数秒の短い動画を生成できます。
主な2つの方法
| 方法 | 入力 | 用途 |
|---|---|---|
| テキストから動画(T2V) | プロンプト | 何もない状態から映像を生成 |
| 画像から動画(I2V) | 画像1枚 + プロンプト | 画像に「動き」を加える。映像を最も細かく制御できる |
実際には画像から動画が最もよく使われます。まず画像生成モデルで納得のいく映像を作る(または自分の写真やイラストを使う)と、それを動かせるため、品質と一貫性が向上します。
ハードウェア要件
動画生成は非常に多くのリソースを必要とします。
- VRAM:16 GB以上を推奨します。12 GB以下の場合は、量子化版や小型モデルを使い、解像度とフレーム数を下げる必要があります。
- システムメモリ:32 GB以上を推奨します。
- 生成時間:数秒の動画でも、ハードウェアや設定によって数分から数十分かかることがあります。
多くの動画モデルには、サイズの異なるバージョン(パラメーター数の少ないものなど)のほか、FP8やGGUFの量子化版があります。メモリが足りない場合は、まずこれらを選びましょう。
公式テンプレートから始める
動画モデルのワークフローは画像より複雑なため、テンプレートから始めることを強くおすすめします。
- メニュー → テンプレートを参照 → 動画(Video)カテゴリを選びます。
- モデルと生成方法を選びます。たとえば、モデルの「画像から動画」テンプレートを選択します。
- 案内に従って必要なモデルファイル(拡散モデル、テキストエンコーダー、VAE、画像から動画の場合は画像エンコーダーが必要なこともあります)をダウンロードし、対応するフォルダーに配置します。
- Load Imageノードで開始画像を読み込み、プロンプトを変更してRunを押します。
主なパラメーター
| パラメーター | 説明 |
|---|---|
| 幅 / 高さ | 動画の解像度です。まずは低解像度(480p相当など)で試します |
| フレーム数(length / frames) | 動画の長さ = フレーム数 ÷ 1秒あたりのフレーム数です。一部のモデルでは、特定のフレーム数(4の倍数 + 1など)が必要です |
| fps | 1秒あたりのフレーム数です。モデルの推奨値に合わせます(一般的には16~24) |
| steps、CFG | テンプレートの推奨値に合わせます |
フレーム数と解像度は、メモリ使用量と生成時間に最も大きく影響します。まず短く小さな設定で動きを確認してから、品質を上げましょう。
プロンプト
動画のプロンプトでは、映像の内容に加えて、動きやカメラワークを具体的に記述することが大切です。
A girl with an umbrella walks slowly along a rainy street at night, neon signs reflecting
on the wet ground. The camera slowly follows her from behind. Light rain falls.
- 主体の動作を記述します(walks、turns her head、smilesなど)。
- カメラの動きを記述します(slow zoom in、pan left、static cameraなど)。
- 画像から動画を生成する場合、画像にすでに含まれている内容を繰り返し説明する必要はありません。どのように動かすかに重点を置きます。
動画の出力
テンプレートでは通常、Save Video、Save WEBM、またはVideoHelperSuiteのVideo Combineノードを使ってMP4 / WebM / GIFを出力します。ファイルはoutputフォルダーに保存されます。
高速化のコツ
- Lightningなどの高速化LoRAを使うと、ステップ数を一桁まで減らせるため、生成時間を大幅に短縮できます。
- FP8またはGGUFの量子化モデルを使います。
- まず低解像度で生成し、納得できたら拡大します(動画専用のアップスケーリングモデルやワークフローもあります)。
現実的な期待値
- 現在のオープンソース動画モデルの多くが生成できるのは数秒の動画です。長い動画を作るには、分割して生成してから編集します。
- 複雑な動き、手、文字はまだ失敗しやすいため、何度か生成して最良の結果を選びましょう。
- モデルの更新は非常に速く、数か月でより優れた新モデルが登場します。テンプレートに新しい選択肢がないか、定期的に確認しましょう。
実在する人物の動画を生成する場合は、法律とプラットフォームの規則を守り、他人になりすましたり、誤解を招いたりするコンテンツを作らないでください。
更新日 2026年10月12日