ControlNet -Soft Edgeの特性や使い方を解説 / Stable Diffusion web UI

2023年9月12日
AI All Technology

Stable Diffusionの拡張機能、ControlNetのモデルの一つSoft Edge（輪郭抽出）モデル。インプットした画像から輪郭を検出し、それに沿った画像生成が可能なモデルです。

今回はSoft Edgeの特性や使い方を実際に生成したアウトプットを形成しながら解説して行きたいと思います。

ControlNetの導入について

ControlNetは、Stable Diffusionの拡張機能の一つで、様々なモデルデータと組み合わせて活用することで思い通りの生成結果を導くことができるツールです。

ControlNetのインストールやモデルデータのダウンロードなどについては、「ControlNetをStable Diffusion web uiへインストール」をご覧ください。

ControlNetの「Soft Edge」の特徴

「Soft Edge」は画像から輪郭抽出し扱うControlNetのモデルになっており、inputした画像の輪郭をソフトに検出します。同じ輪郭検出モデルのcannyよりも柔らかな線で検出が可能です。

ControlNetへのインプット

ControlNet「softedge_hed」からの解析情報

ControlNet「softedge_hedsafe」からの解析情報

ControlNet「softedge_pidnet」からの解析情報

ControlNet「softedge_pidinet」からの解析情報

ControlNetの「Soft Edge」の活用方法

Soft Edgeはcannyと比べて、線を多く抽出することが可能で、元絵を保つ率がcannyよりも精度が高く元絵の再現生成が可能です。

「Soft Edge」からの解析情報を元に再生成

首の部分のレース部分も再現されており、Soft Edgeは画像内の服のしわなどの柔らかい部分も含めて検出可能です。

「Soft Edge」の特性まとめ

・Soft EdgeはControlNetで利用可能なモデル
・プリプロセッサは全部4種類　公式のオススメはsoftedge_pidinet
・softedge_hedのほうが細い線が拾える
・元絵の再現性が高く再構築が可能