ComfyUI AnimateDiff×ControlNetでアニメの中割りを創る
![](https://taziku.co.jp/taziku_w_p/wp-content/uploads/2023/10/2way.jpg)
ComfyUIとAnimateDiff、さらにControlNetを組み合わせることでさらに詳細なアニメーションの生成指示が可能です。今回は、ComfyUIとAnimateDiff×ControlNet「Tile」を利用して、アニメーションの中割りを創る方法を解説しながら、まとめていきます。
事前準備
本記事ではComfyUIでAnimateDiffが利用できることを前提にまとめています。
ComfyUIのインストール方法については「Stable Diffusion ComfyUIをWindowsのローカル環境に構築」の記事をご覧ください。また、ComfyUI上でAnimateDiffを動作させるための準備については「ComfyUI環境でAnimateDiffを実行する」の記事をご覧ください。
ControlNetのモデルデータを準備
今回はTileを利用するため、以下のURLからtile用のモデルデータ「control_v11f1e_sd15_tile.pth」をダウンロードします。
ControlNet-v1-1
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
ダウンロードしたデータは、「インストール先/models/controlnet/」に設置します。
ComfyUIのワークフロー
ComfyUIの特徴としてワークフローが取り込めるところが良い点なので、今回は「【AIアニメ】ComfyUI AnimateDiffでアニメの中割りを作ろう!」で公開されているワークフロー「workflow_tile_interpolation.json」をベースに作成させていただきました。ファイルは記事中盤に設置されています。
![](https://taziku.co.jp/taziku_w_p/wp-content/uploads/2023/10/workflow-1024x637.jpg)
注意点として生成した2枚の画像で使用したモデルと同一のモデルをAnimateDiffで使用しましょう。
アウトプット
左が1枚目 / 右が最終フレームとして指定
![](https://taziku.co.jp/taziku_w_p/wp-content/uploads/2023/10/1st_end-1024x512.jpg)
生成したgif(512×512)
![](https://taziku.co.jp/taziku_w_p/wp-content/uploads/2023/10/Enabled_00003_.gif)
アップスケールしたアニメ(1024×1024)はこちら
AIアニメの新しい可能性
そこまでプロンプトも練り込んでいませんが、ガイドが何も無い場合と比べて劇的に安定性が改善します。ここからさらに進んでいけばアニメーションの作り方は間違いなく大きく変わるはずです。
今後の進化にも期待したいと思います。
※当サイトに掲載されている商標、一部画像、スクリ-ンショット、文章に置いては著作権侵害を目的に利用しておらず、第三十二条で定められる引用の範囲で使用しています。万が一問題があれば、お問い合わせからご連絡ください。即刻削除いたします。また、本ブログは業務の研究開発のためのものとなり、一部、弊社に関連性が無いものも掲載しております。
生成AI・AIの導入・研修・DXの支援はtazikuへ
生成AI・LLMなど、AIを活用したAIの導入・DXコンサルティング、AI領域の研修・講演などのご相談はお気軽にお問い合わせフォーム、もしくは生成AIソリューションDXAIから、ご相談・お問い合せください。