Midjounery x ComfyUI x SVDで動画を検証する。

Stable Video Diffusionのセットアップについては「SVD（Stable-Video-Diffusion）をローカル環境にインストール」や「ComfyUIでSVD（Stable Video Diffusion）を利用し生成する」という記事で触れてきましたが、今回はMidjounery x ComfyUI x Stable Video Diffusionを利用して実際に動画を生成してみたいと思います。

どんな表現の動画がうまくいくのかも含めて、生成実験を行います。

SVDのよる動画生成の検証

今回は、写真、絵画、イラストレーション、3DCGという4つのバリエーションで同一写真、同一パラメーターで各4回ずつ生成し、その違いを見るという検証を実施します。

画像の生成に関してはいずれのスタイルも月面を歩く宇宙飛行士として生成、解像度576×1024に調整してからComfyUI x SVDで生成してそれぞれを比べていきます。

SVD検証結果

写真

アートワーク

イラストレーション

3DCG

検証後の考察

絵柄によって大きな変更無いように思える。いい動きをするときもあれば、破綻をしてしまうことも大きい。被写体のサイズや画像全体のどの用に動きそうかの構図は大きく関係しているようにも思える。

少なくとも現段階では、いきなり素晴らしいアウトプットを一発で出すのは現段階ではちょっと難しそうです。引き続きパラメーターなどの検証を行っていきたいと思います。