ComfyUI AnimateDiff×ControlNetでアニメの中割りを創る
ComfyUIとAnimateDiff、さらにControlNetを組み合わせることでさらに詳細なアニメーションの生成指示が可能です。今回は、ComfyUIとAnimateDiff×ControlNet「Tile」を利用して、アニメーションの中割りを創る方法を解説しながら、まとめていきます。
事前準備
本記事ではComfyUIでAnimateDiffが利用できることを前提にまとめています。
ComfyUIのインストール方法については「Stable Diffusion ComfyUIをWindowsのローカル環境に構築」の記事をご覧ください。また、ComfyUI上でAnimateDiffを動作させるための準備については「ComfyUI環境でAnimateDiffを実行する」の記事をご覧ください。
ControlNetのモデルデータを準備
今回はTileを利用するため、以下のURLからtile用のモデルデータ「control_v11f1e_sd15_tile.pth」をダウンロードします。
ControlNet-v1-1
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
ダウンロードしたデータは、「インストール先/models/controlnet/」に設置します。
ComfyUIのワークフロー
ComfyUIの特徴としてワークフローが取り込めるところが良い点なので、今回は「【AIアニメ】ComfyUI AnimateDiffでアニメの中割りを作ろう！」で公開されているワークフロー「workflow_tile_interpolation.json」をベースに作成させていただきました。ファイルは記事中盤に設置されています。
注意点として生成した2枚の画像で使用したモデルと同一のモデルをAnimateDiffで使用しましょう。
アウトプット
左が1枚目 / 右が最終フレームとして指定
生成したgif（512×512）
アップスケールしたアニメ（1024×1024）はこちら
AIアニメの新しい可能性
そこまでプロンプトも練り込んでいませんが、ガイドが何も無い場合と比べて劇的に安定性が改善します。ここからさらに進んでいけばアニメーションの作り方は間違いなく大きく変わるはずです。
今後の進化にも期待したいと思います。