Stable Diffusionの任意のモデルにVAEを焼きこむ

2023年10月2日
AI BLOG Technology

Stable Diffusionの画像生成に必要なモデルデータ。そのまま利用するだけでは色味がうまく出力されず、VAEファイルを利用することで、色味をコントロールできますが、毎回VAEを設定などがめんどくさい場合焼きこんでしまったほうが便利です。

今回はStable DiffusionのモデルにVAEを焼きこむ方法を解説したいと思います。

Stable Diffusionの標準機能で焼きこみ可能

CheckpointMergerで焼きこみ

本来はモデルをマージするためのものですが、同じモデルをマージしつつ、VAEを指定すれば、モデルデータはそのままでVAEを埋め込むことが可能です。

1.焼きこむ対象のモデルをA/Bともに指定

モデルの印象を変えたいわけではないので、AとB、同じモデルを指定します。

2.Custom Name (Optional)を設定

マージ後にわかりやすくするために、わかりやすい名前をつけましょう

3.Interpolation Methodの設定

Weighted sumで問題ありません。

4.Checkpoint format

お好みですが、safetensorsでOKです。

5.Bake in VAE

焼きこみたいVAEを指定します。

その他はディフォルトのままでMergeを押せば焼きこんだVAEが生成されます。