Stable Diffusion AUTOMATIC1111 web UIでSDXLを動作させる

2023年7月28日
AI All BLOG Technology

Stable Diffusionの新verSDXLがリリースされ、様々な画像が日々生成されたり、モデルのファインチューニングが進んでいますが、今回はStable Diffusion AUTOMATIC1111 web UIでSDXLを動作させる手順を解説したいと思います。

SDXLのモデルデータ・VAEをダウンロード

SDXLの最新版のモデルデータを以下のURLからダウンロードします。3つデータがありますが、今回は3つ利用する前提で解説していきます。

SDXLモデルデータ

以下のURLからダウンロード
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0

「sd_xl_base_1.0.safetensors」をダウンロードを行ったら、ダウンロードしたファイルを以下のディレクトリに設置します。

（Stable Diffusion設置ディレクトリ）/stable-diffusion-webui/models/Stable-diffusion/ここにモデルデータを設置

設置後、起動すると、これでSDXLのチェックポイントが選択できるようになっていると思います。

SDXL VAEデータ

VAEも用意されているので、ダウンロードしておきましょう

以下URLからダウンロード
https://huggingface.co/stabilityai/sdxl-vae/tree/main

「sdxl_vae.safetensors」をダウンロードを行ったら、ダウンロードしたファイルを以下のディレクトリに設置します。SDXLに対応したVAEを利用しないとノイズまみれのデータとなってしまうため、SDXLを利用する際は必ず、上記のSDXLに対応したVAEを利用するようにしましょう。

（Stable Diffusion設置ディレクトリ）/stable-diffusion-webui/models/VAE/ここにVEAデータを設置

SDXLの生成結果

いくつか画像を生成しました。ベースのモデルでもイラストも生成できました。

SDXLの画像生成の注意点

生成サイズ

SDXLの生成について基本は1024×1024が適切なサイズとなっています。 1.5系では適正だった512x512pxでは大きく崩れてしまいました。これは学習されているモデルの解像度に依存しており、最適なパフォーマンスを得るためにはSDXLに適したサイズで生成する必要があります。このサイズについては「SDXLで高精度に生成するためのサイズ一覧 SDXLサイズチートシート」の記事にまとめていますので、生成される方は是非ご覧ください。

イラストモデルを利用しても反映されにくい

SDXLについてはイラスト専用モデルを用いても、今までのように1girlだけでは、イラストが出にくかったりします。SD1.5とはまた少し違った、プロンプトの工夫が必要となります。

詳細なプロンプトが求められる

明らかにSD1.5とプロンプトの種類が異なります。SD1.5の場合ある程度モデルに任せるような、曖昧なプロンプトでもうまく作成してくれますが、SDXLの場合、プロンプトを細部まで書き込まないと意図通りの画像を制作することが難しく感じます。SD1.5で慣れていた方は最初は違和感を感じるかもしれません。

SDXLを利用する上でのwebui-user.bat設定

SDXL使用時はwebui-user.batに「–no-half-vae」を追記することが推奨されています。VAEで16ビットの浮動小数点演算を使用しない設定で、画像生成の精度が向上するとのことです。引数の設定方法については「Stable Diffusionのメモリ不足対策・解決策まとめ」を参考にご覧ください。