Stable Diffusionの生成画像の構図を自由にコントロールができるControlNet。ControlNetとStable Diffusionを組み合わせることで、劇的に生成する画像の自由度、カスタマイズの幅が広がります。
今回は、ControlNetをStable Diffusionにインストールしモデルデータを設置、機能が利用できるまでをまとめました。
※本記事のスクリーンショットは日本語化後のスクリーンショットを用いています。Stable Diffusion web uiの日本語化は「Stable Diffusion web UIを日本語化する」からご覧ください。
ControlNetとは？
ControlNetは深度計測や骨格検出などのアルゴリズム利用し、生成する画像を細かくコントロールできるツールです。Stable Diffusionで利用できるアドオンが公開されるているため、誰でも簡単にControlNetを利用することが可能です。
公式リポジトリは以下
https://huggingface.co/lllyasviel/ControlNetControlNetをインストール
Stable Diffusion web uiを起動後、、「拡張機能」タブを選択し、さらに「URLからインストール」 タブを選択し、その中にある、拡張機能のリポジトリのURLに以下のURLを入力します。
https://github.com/Mikubill/sd-webui-controlnet.gitURLの入力が完了したら「Install」をクリックします。その後、「インストール済」のタブから「適用してUIを再起動」のボタンをクリックします。
txi2imgタブやimg2imgタブでControlNetの項目が追加されればインストールは成功です。
モデルのダウンロード
ControlNetを利用するには、モデルデータをインストールする必要があります。モデルの種類 は全部で８種類でそれおれのモデルデータでできることがことなります。モデルデータは以下
canny エッジ検出、被写体の輪郭を検出
depth 画像の深度を推定
hed Deep Leraningで線画抽出
mlsd 画像のワイヤーフレームを検出
normal 法線マップ(Normal Maps)使用
openpose ポーズ検出を使用
scribble 落書きを使用
seg セマンティックセグメンテーションを使用
モデルデータは以下のURLからダウンロード可能です
https://huggingface.co/lllyasviel/ControlNet/tree/main/models
軽量版はこちら
https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main
モデルデータを設置するディレクトリは以下となります。
/content/stable-diffusion-webui/extensions/models/生成用のモデルデータを置く場所とは異なるため、注意が必要です。
次回はControlNetを使い実際イラストや画像を生成してみたいと思います。
