ControlNet -inpaintの特性や使い方を解説 / Stable Diffusion web UI

Stable Diffusionの拡張機能、ControlNetのモデルの一つinpaintモデル。img2imgで実現可能なinpaintとほぼ同じ機能にはなりますが、利用することでtxt2imgでもinpaintが利用可能になります。今回はinpaintの特性や使い方を実際に生成したアウトプットを形成しながら解説して行きたいと思います。

ControlNetの導入について

ControlNetは、Stable Diffusionの拡張機能の一つで、様々なモデルデータと組み合わせて活用することで思い通りの生成結果を導くことができるツールです。

ControlNetのインストールやモデルデータのダウンロードなどについては、「ControlNetをStable Diffusion web uiへインストール」をご覧ください。

ControlNetの「inpaint」の特徴

「inpaint」を用いることで、持ち物を変えたり、服装を変えたり、表情を変えたりといったことが可能となります。impaint_global_harmonious、inpaint_only+lama、impaint_only.jpgと3つのプリプロセッサが用意されており、impaint_global_harmoniousを利用すると書き換えた場所に合わせて全体の色味を調整してくれます。

ControlNetへのインプット

ControlNet「inpaint」領域を指定

ControlNetの「inpaint」の活用方法

「inpaint」からの指定領域のみプロンプトを足して再生成

「inpaint」の特性まとめ

・inpaintはControlNetで利用可能なモデル
・プリプロセッサは全部3種類 impaint_global_harmoniousは指定領域以外も合わせて調整
・txt2imgでinpaint機能が利用可能