ControlNetをStable Diffusion web uiへインストール
Stable Diffusionの生成画像の構図を自由にコントロールができるControlNet。ControlNetとStable Diffusionを組み合わせることで、劇的に生成する画像の自由度、カスタマイズの幅が広がります。
今回は、ControlNetをStable Diffusionにインストールしモデルデータを設置、機能が利用できるまでをまとめました。
※本記事のスクリーンショットは日本語化後のスクリーンショットを用いています。Stable Diffusion web uiの日本語化は「Stable Diffusion web UIを日本語化する」からご覧ください。
ControlNetとは?
ControlNetは深度計測や骨格検出などのアルゴリズム利用し、生成する画像を細かくコントロールできるツールです。Stable Diffusionで利用できるアドオンが公開されるているため、誰でも簡単にControlNetを利用することが可能です。
公式リポジトリは以下
https://huggingface.co/lllyasviel/ControlNet
ControlNetをインストール
Stable Diffusion web uiを起動後、、「拡張機能」タブを選択し、さらに「URLからインストール」 タブを選択し、その中にある、拡張機能のリポジトリのURLに以下のURLを入力します。
https://github.com/Mikubill/sd-webui-controlnet.git
URLの入力が完了したら「Install」をクリックします。その後、「インストール済」のタブから「適用してUIを再起動」のボタンをクリックします。
txi2imgタブやimg2imgタブでControlNetの項目が追加されればインストールは成功です。
モデルのダウンロード
ControlNetを利用するには、モデルデータをインストールする必要があります。モデルの種類 は全部で8種類でそれおれのモデルデータでできることがことなります。モデルデータは以下
canny エッジ検出、被写体の輪郭を検出
depth 画像の深度を推定
hed Deep Leraningで線画抽出
mlsd 画像のワイヤーフレームを検出
normal 法線マップ(Normal Maps)使用
openpose ポーズ検出を使用
scribble 落書きを使用
seg セマンティックセグメンテーションを使用
モデルデータは以下のURLからダウンロード可能です
https://huggingface.co/lllyasviel/ControlNet/tree/main/models
軽量版はこちら
https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main
モデルデータを設置するディレクトリは以下となります。
/content/stable-diffusion-webui/extensions/models/
生成用のモデルデータを置く場所とは異なるため、注意が必要です。
次回はControlNetを使い実際イラストや画像を生成してみたいと思います。
Stable Diffusion 最新情報
tazikuでは画像生成AI Stable Diffusion(スティーブルディフュージョン)AUTOMATIC1111を中心に、最新情報、機能紹介、様々なTipsを発信中!Stable Diffusionに関するまとめ記事、記事一覧は以下のリンクからご覧ください。
生成AI・AIの導入・研修・DXの支援はtazikuへ
生成AI・LLMなど、AIを活用したAIの導入・DXコンサルティング、AI領域の研修・講演などのご相談はお気軽にお問い合わせフォーム、もしくは生成AIソリューションDXAIから、ご相談・お問い合せください。
※当サイトに掲載されている商標、一部画像、スクリ-ンショット、文章に置いては著作権侵害を目的に利用しておらず、第三十二条で定められる引用の範囲で使用しています。万が一問題があれば、お問い合わせからご連絡ください。即刻削除いたします。また、本ブログは業務の研究開発のためのものとなり、一部、弊社に関連性が無いものも掲載しております。