Stable VideoとMidjourneyを組合せて画像から動画を生成

「「Stable Video」でテキストからの動画生成を試す」でテキストから動画生成についてまとめましたが、今回は画像生成AI「Midjourney」で画像を生成し、その後「Stable Video」と連携して動画を生成する方法をまとめたいと思います。

Midjouneryで画像を生成

Stable Video Diffusion (SVD) 1.1はリアル系の動画や水面や煙などの流体が美しく描画できますので、今回は冒頭掲載のリアル系でかつ水面を絡めた人物を「Midjourney」で生成しました。

画像から動画を生成

ログイン後「Start with Image」を選択、image upload画面から、生成した画像をアップロードし「Generate」ボタンを選択。その後、カメラモーションを設定します。今回は一旦なにも設定せずに生成してみます。動きの強さやステップ数なども変更可能です。

生成された動画

水面は凄まじく綺麗

前評判通り、リアル系の動画や水面や煙などの流体が美しく、とても精度が高い動画が生成できました。生成する画像によって肌面積が大きかったりすると生成がストップされたりもしますが、流体とリアルな写真の生成については一段抜けています。素晴らしいアウトプットだと思います。

Stable Video
https://www.stablevideo.com/