ControlNetをStable Diffusion web uiへインストール

Stable Diffusionの生成画像の構図を自由にコントロールができるControlNet。ControlNetとStable Diffusionを組み合わせることで、劇的に生成する画像の自由度、カスタマイズの幅が広がります。

今回は、ControlNetをStable Diffusionにインストールしモデルデータを設置、機能が利用できるまでをまとめました。
※本記事のスクリーンショットは日本語化後のスクリーンショットを用いています。Stable Diffusion web uiの日本語化は「Stable Diffusion web UIを日本語化する」からご覧ください。

ControlNetとは？

ControlNetは深度計測や骨格検出などのアルゴリズム利用し、生成する画像を細かくコントロールできるツールです。Stable Diffusionで利用できるアドオンが公開されるているため、誰でも簡単にControlNetを利用することが可能です。

公式リポジトリは以下

https://huggingface.co/lllyasviel/ControlNet

ControlNetをインストール

Stable Diffusion web uiを起動後、、「拡張機能」タブを選択し、さらに「URLからインストール」　タブを選択し、その中にある、拡張機能のリポジトリのURLに以下のURLを入力します。

https://github.com/Mikubill/sd-webui-controlnet.git

URLの入力が完了したら「Install」をクリックします。その後、「インストール済」のタブから「適用してUIを再起動」のボタンをクリックします。

txi2imgタブやimg2imgタブでControlNetの項目が追加されればインストールは成功です。

モデルのダウンロード

ControlNetを利用するには、モデルデータをインストールする必要があります。モデルの種類　は全部で８種類でそれおれのモデルデータでできることがことなります。モデルデータは以下

canny エッジ検出、被写体の輪郭を検出
depth 画像の深度を推定
hed Deep Leraningで線画抽出
mlsd 画像のワイヤーフレームを検出
normal 法線マップ(Normal Maps)使用
openpose ポーズ検出を使用
scribble 落書きを使用
seg セマンティックセグメンテーションを使用

モデルデータは以下のURLからダウンロード可能です
https://huggingface.co/lllyasviel/ControlNet/tree/main/models

軽量版はこちら

https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main

モデルデータを設置するディレクトリは以下となります。

/content/stable-diffusion-webui/extensions/models/

生成用のモデルデータを置く場所とは異なるため、注意が必要です。

次回はControlNetを使い実際イラストや画像を生成してみたいと思います。