Stable Diffusion web UIでSDXLのRefinerを利用する

記事更新日時現在、Stable Diffusion web UIで、SDXLのRefinerはサポートされていません。v1.5.1でも明記はされていませんでした。今後おそらく対応していくものと思われますが、img2imgを利用することでRefinerを適用できるためその方法を実際に試しながら解説します。

SDXLのStable Diffusion web UIへの導入方法については「Stable Diffusion AUTOMATIC1111 web UIでSDXLを動作させる」をご覧ください。

Refinerモデルをダウンロード

まずはRefinerモデルを以下のURLから「sd_xl_refiner_1.0.safetensors」をダウンロードします。

https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/tree/main

ダウンロードが完了したら以下のフォルダに設置します。

（Stable Diffusion設置ディレクトリ）/stable-diffusion-webui/models/Stable-diffusion/ここにモデルデータを設置

Refinerモデルの利用方法

Refinerモデルの利用方法を簡潔にまとめると以下となります。

1.txt2imgでベースモデルで画像を生成
2.生成した画像をimg2imgに送る
3.Refinerモデルに切り替え
4.Denoising strengthの値を「0.2～0.3」してimg2imgで画像を生成

txt2imgからimg2imgに切り替えつつ、一度モデルデータを切り替える手間はありますが利用可能です。

Refiner画像生成結果

Refiner無し

Refiner有り

詳細なディテールがアップデートされた気がします。より精度の高い画像生成を行いたい方は是非お試しください。