ComfyUI AnimateDiffでSDXLモデルでアニメ生成
ComfyUIとAnimateDiffでのアニメーション生成は非常に自由度が高く、アニメが生成できるのが特徴ですが、今回はComfyUI AnimateDiffでSDXLモデルを利用してのアニメーション生成について解説していきます。
ComfyUIは「HotshotXL」というツールに対応し、標準的なカスタムノードとSDXLのモデルデータとモーションモジュールを用意すればSDXLでアニメーション生成が可能になりました。
事前準備
本記事ではComfyUIでAnimateDiffが利用できることを前提にまとめています。
ComfyUIのインストール方法については「Stable Diffusion ComfyUIをWindowsのローカル環境に構築」の記事をご覧ください。また、ComfyUI上でAnimateDiffを動作させるための準備については「ComfyUI環境でAnimateDiffを実行する」の記事をご覧ください。
モーションモジュール
HotshotXL用の「hsxl_temporal_layers.safetensors」または、「hotshotxl_mm_v1.pth」をダウンロードし、以下のパスに保存
/ComfyUI/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/
生成モデル
公式で推奨されている「SDXL-512」 もしくはその他、SDXLのモデルデータを選択、ワークフローを参照した元では「ANIMAGINE XL」を利用されていました。
ワークフローを準備
1から組んでもいいのですが、ComfyUIはワークフローを取り込むことができるため、こちらの記事中盤にある「workflow_hotshotxl.json」をお借りします。
動画生成
ワークフローをドラッグアンドドロップして読み込んだら、モデルをSDXLを選択し、”AnimateDiff Loader”の「beta_schedule」は「linear」にHotshot-XLは8フレーム/秒の動画で学習されているので、バッチサイズ(=フレーム数)8に設定します。
基本はワークフローのディフォルト値で出力できると思います。
SDXLで生成したアウトプット
今回は1回での生成では無く、それぞれを生成し動画を編集しております。SDXLあんおで描写力が増している感じがします。今後、様々なモデルがSDXL化されていくことを考えると知っておくべき手法ですね。
※当サイトに掲載されている商標、一部画像、スクリ-ンショット、文章に置いては著作権侵害を目的に利用しておらず、第三十二条で定められる引用の範囲で使用しています。万が一問題があれば、お問い合わせからご連絡ください。即刻削除いたします。また、本ブログは業務の研究開発のためのものとなり、一部、弊社に関連性が無いものも掲載しております。
生成AI・AIの導入・研修・DXの支援はtazikuへ
生成AI・LLMなど、AIを活用したAIの導入・DXコンサルティング、AI領域の研修・講演などのご相談はお気軽にお問い合わせフォーム、もしくは生成AIソリューションDXAIから、ご相談・お問い合せください。