ComfyUI AnimateDiff×ControlNetでアニメの中割りを創る

ComfyUIとAnimateDiff、さらにControlNetを組み合わせることでさらに詳細なアニメーションの生成指示が可能です。今回は、ComfyUIとAnimateDiff×ControlNet「Tile」を利用して、アニメーションの中割りを創る方法を解説しながら、まとめていきます。

事前準備

本記事ではComfyUIでAnimateDiffが利用できることを前提にまとめています。

ComfyUIのインストール方法については「Stable Diffusion ComfyUIをWindowsのローカル環境に構築」の記事をご覧ください。また、ComfyUI上でAnimateDiffを動作させるための準備については「ComfyUI環境でAnimateDiffを実行する」の記事をご覧ください。

ControlNetのモデルデータを準備

今回はTileを利用するため、以下のURLからtile用のモデルデータ「control_v11f1e_sd15_tile.pth」をダウンロードします。

ControlNet-v1-1
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

ダウンロードしたデータは、「インストール先/models/controlnet/」に設置します。

ComfyUIのワークフロー

ComfyUIの特徴としてワークフローが取り込めるところが良い点なので、今回は「【AIアニメ】ComfyUI AnimateDiffでアニメの中割りを作ろう！」で公開されているワークフロー「workflow_tile_interpolation.json」をベースに作成させていただきました。ファイルは記事中盤に設置されています。

注意点として生成した2枚の画像で使用したモデルと同一のモデルをAnimateDiffで使用しましょう。

アウトプット

左が1枚目 / 右が最終フレームとして指定

生成したgif（512×512）

アップスケールしたアニメ（1024×1024）はこちら

AIアニメの新しい可能性

そこまでプロンプトも練り込んでいませんが、ガイドが何も無い場合と比べて劇的に安定性が改善します。ここからさらに進んでいけばアニメーションの作り方は間違いなく大きく変わるはずです。

今後の進化にも期待したいと思います。