SD拡張「sd-webui-animatediff」でAIアニメ制作 ControlNet活用編

前回、「SD拡張「sd-webui-animatediff」でAIアニメ制作 txt2img編」という記事で、AnimateDiffのStable Diffusionの拡張機能「sd-webui-animatediff」でtxt2imgでのAIアニメ生成について解説しましたが、今回はControlNet利用したAIアニメの制作について解説していきたいと思います。

AnimateDiffとは？

AnimateDiffとは、1枚の画像から一貫性のあるアニメーションを生成できるプログラム、今までのアニメ生成と異なり、元絵を保ったままの生成が可能です。

txt2img+ControlNetでアニメを生成

1.4だと動きが大きすぎて、1.5だと動きが小さすぎる。そんなときに役立つのが、txt2img+ControlNetでAIアニメを作成する方法です。ControlNetの値を操作することでAnimateDiffでの動きをコントロール可能です。

まずはtxt2imgでベースとなる画像を生成します。プロンプト、ネガティブプロンプトを入力し画像を生成完成した画像は以下となります。

こちらをControlNetに送り、seed値を同じにして、再度、txt2imgでAnimateDiffを生成します。

AnimateDiffにはモデルは動きが比較的激しい1.4と1.5があります。今回は1.4を利用した結果を示します。1.4の大きすぎる動きをControlNetで縛るイメージです。

softedge 0.4でのAIアニメ生成結果

数字を大きくすればするほど固定され、数字を小さくすれば、Animationが大きくなります。softedge以外にも色々なControlNetの設定で行うとまた違った結果を得ることができます。自分が創りたいAnimationのイメージによって使い分けが非常に重要となります。