Runway Gen-2がリリースした、画像中の複数の要素の動きを同時に制御するマルチモーションブラシがリリースされWEB上でも様々な動画が生成されていますが、今回は蒸気機関車が走る動画の生成にチャレンジしていきます。
画像を生成
走らせるということで、奥行きがあると、パラメータが複雑になってしまいますので、真横から撮影されており、障害物に蒸気機関車がかかっていない写真の生成を目指しました。最終アウトプットは記事冒頭の写真になります。
動かす範囲をマルチモーションブラシで指定
機関車はシンプルに指定して、進行方向にパラメータ指定を行います。蒸気についても同様に進行方向に動かしたあとに、動きを加えていきます。
生成結果
パラメータの設定が重要
今回は蒸気機関車は動かしたいが、動かしすぎると元画像が破綻してしまうため、そのギリギリを探る作業となりました。結果的にはパラメータは3としました。
元の画像にもよりますが、このどのくらいのパラメータでどのくらい動くか感覚は何度も動画生成を実施し見て掴んでいくしかないと思います。
Runway
https://runwayml.com/
