Stable Diffusionの任意のモデルにVAEを焼きこむ

Stable Diffusionの画像生成に必要なモデルデータ。そのまま利用するだけでは色味がうまく出力されず、VAEファイルを利用することで、色味をコントロールできますが、毎回VAEを設定などがめんどくさい場合焼きこんでしまったほうが便利です。

今回はStable DiffusionのモデルにVAEを焼きこむ方法を解説したいと思います。

Stable Diffusionの標準機能で焼きこみ可能

CheckpointMergerで焼きこみ

本来はモデルをマージするためのものですが、同じモデルをマージしつつ、VAEを指定すれば、モデルデータはそのままでVAEを埋め込むことが可能です。

1.焼きこむ対象のモデルをA/Bともに指定

モデルの印象を変えたいわけではないので、AとB、同じモデルを指定します。

2.Custom Name (Optional)を設定

マージ後にわかりやすくするために、わかりやすい名前をつけましょう

3.Interpolation Methodの設定

Weighted sumで問題ありません。

4.Checkpoint format

お好みですが、safetensorsでOKです。

5.Bake in VAE

焼きこみたいVAEを指定します。

その他はディフォルトのままでMergeを押せば焼きこんだVAEが生成されます。

※当サイトに掲載されている商標、一部画像、スクリ-ンショット、文章に置いては著作権侵害を目的に利用しておらず、第三十二条で定められる引用の範囲で使用しています。万が一問題があれば、お問い合わせからご連絡ください。即刻削除いたします。また、本ブログは業務の研究開発のためのものとなり、一部、弊社に関連性が無いものも掲載しております。

Related INSIGHTS

最新の知見をお届け

AI・クリエイティブに関する最新情報は
公式Xアカウントやnoteでも発信しています。

Follow @taziku_co note で読む