アニメーション生成AnimateDiffでアニメを生成
AnimateDiffとは?
AnimateDiffとは、1枚の画像から一貫性のあるアニメーションを生成できるプログラム、今までのアニメ生成と異なり、元絵を保ったままの生成が可能です。
インストールについては「アニメーションを生成できるAnimateDiffをインストール」をご覧ください。今回はAnimateDiffがインストールされている前提で、自分自身で設定したプロンプトや任意のモデルデータでアニメーション生成を行う方法を解説します。
yamlファイルをカスタマイズ
yamlファイルを読み込んで生成しているため、プロンプトや各種設定はyamlファイルをカスタマイズすることで調整することが可能です。記述の構成を見ながら、書き換えながら調整していきます。
yamlファイルの構成
冒頭はどのモデルデータを利用して生成するのかとなっており今回は特に触りません。
触っていくのはseedからで、どのシード値で生成するかを指定しています。現状4つのシードが指定されていますが、1枚ずつ生成したいため、一つのシード値とします。
step数は一枚の生成になるのでもう少しstep数を上げ今回は50とします。guidance_scale(どのくらいプロンプトに忠実に描画するのかの値) についてはディフォルトのままとします。
最後にプロンプトが4つならんでいますが、1枚ずつ生成するため1つにします。promptの下部のn_promptはネガティブプロンプトとなりますので2つ目を残して全て削除します。
調整したyamlは以下の通りとなります。
ToonYou:
base: ""
path: "models/DreamBooth_LoRA/toonyou_beta5Unstable.safetensors"
motion_module:
- "models/Motion_Module/mm_sd_v14.ckpt"
- "models/Motion_Module/mm_sd_v15.ckpt"
seed: [10788741199826055526]
steps: 50
guidance_scale: 7.5
prompt:
- "masterpiece, best quality, 1girl, collarbone, wavy hair, looking at viewer, blurry, upper body, necklace, suspenders, floral print, ponytail, freckles, red hair, sunlight,"
n_prompt:
- "badhandv4,easynegative,ng_deepnegative_v1_75t,verybadimagenegative_v1.3, bad-artist, bad_prompt_version2-neg, teeth"
今回はファイル名を「1-ToonYou-mod.yaml」としたので以下のコマンドで生成していきます。
python -m scripts.animate --config configs/prompts/1-ToonYou-mod.yaml
ステップ数を上げたので、1つのgifですが、複数枚生成しているのでかなり時間がかかりましたがきれいになっている気がします。今回はToonYouのモデルダウンロードページのプロンプトを拝借してAnimateDiffで生成してみました。
ToonYouのアウトプット
生成モデルを変更する
次にモデル自体をガラリと入れ替えてみます。サンプルに無いものを使ってみたいと思います。今回はリアル系のモデルを使ってみます。国内でも有名な美女を生成できるBRAV6のモデルで試してみました。
まずモデルデータをダウンロードし以下のディレクトリにモデルデータを格納します。その後yamlを作成していきます。作成したファイルをbarv.yamlとした場合コマンドは以下となります。
python -m scripts.animate --config configs/prompts/barv.yaml
BARV6のアウトプット
プロンプトというよりはモデルによってかなりクオリティの差があります。リアル系はまだ相性が良くなさそうです。まだリリースされたばかりなので今後の発展に期待したい技術です。
※当サイトに掲載されている商標、一部画像、スクリ-ンショット、文章に置いては著作権侵害を目的に利用しておらず、第三十二条で定められる引用の範囲で使用しています。万が一問題があれば、お問い合わせからご連絡ください。即刻削除いたします。また、本ブログは業務の研究開発のためのものとなり、一部、弊社に関連性が無いものも掲載しております。
Stable Diffusion 最新情報
tazikuでは画像生成AI Stable Diffusion(スティーブルディフュージョン)AUTOMATIC1111を中心に、最新情報、機能紹介、様々なTipsを発信中!Stable Diffusionに関するまとめ記事、記事一覧は以下のリンクからご覧ください。
生成AI・AIの導入・研修・DXの支援はtazikuへ
生成AI・LLMなど、AIを活用したAIの導入・DXコンサルティング、AI領域の研修・講演などのご相談はお気軽にお問い合わせフォーム、もしくは生成AIソリューションDXAIから、ご相談・お問い合せください。