MagicAnimate×Midjourneyでイラストのダンスムービー検証

2023年12月7日
AI BLOG Technology

画像とダンスポーズから、ダンスアニメーションが生成可能な「MagicAnimate」。windows環境にインストールする方法については「1枚の画像からアニメ生成が可能な「Magic Animate」をwindowsローカル環境に構築」という記事で「画像から1クリックでアニメ生成が可能な「Magic Animate」の利用方法」という記事で基本的な利用方法を紹介しましたが、今回は画像生成AIで生成された独自の画像からダンスアニメーションを生成し、イラストをどの程度の精度で生成できるかを検証していきます。

Midjourneyでリファレンスを生成

今回はMidjourneyを利用して動かす画像を生成、その後MagicAnimateで動画生成というフローを作成します。ディフォルトでセットされているダンスポーズデータが正方形の比率のため、リファレンスイメージも正方形で生成していきます。背景も、きちんとリファレンスを取得するのですが、今回は背景はシンプルな白として画像を生成していきます。

また、なるべく正面を向いてダンスポーズと同じく腰より上の画角で生成を行います。また手足を認識しやすいように、ボディースーツを着用したものを生成しました。

生成した画像

生成した動画

精度検証

動きは良いのですが、まだ顔が崩れてしまうのと、どうしてもアニメキャラクターと体形の差が出てしまい、アニメキャラクターが踊りだしているかといわれると、まだまだ精度的には実験的なイメージです。これからダンスポーズで体系の調整を行えばよくなるかもしれませんが、現状イラストレーションをある程度の精度でというのは難しそうです。

magic-animate-for-windows
https://github.com/sdbds/magic-animate-for-windows

追記：2023年12月9日

MagicAnimateを利用するリスクは低ですが、「magic-animate-for-windows\venv\Lib\site-packages\gradio\frpc_windows_amd64_v0.2」にて、脅威名: FastReverseProxyでノートンで警告が上がります。

当初Stable-DiffusionのIssuesで上げられていた、SPUA:Win32のようなマルウェア検知では無く、危険度：低の検知ではあり、検知・遮断し、遮断してもソフトウェアは動作しているため問題はないとは思いますが、インストール・ご利用は自己責任でお願い致します。