ControlNet – depthの特性や使い方を解説 / Stable Diffusion web UI

Stable Diffusionの拡張機能、ControlNetのモデルの一つdepth（深度）モデル。インプットした画像から深度を抽出し、それに沿った画像生成が可能なモデルです。

今回はdepthの特性や使い方を実際に生成したアウトプットを形成しながら解説して行きたいと思います。

ControlNetの導入について

ControlNetは、Stable Diffusionの拡張機能の一つで、様々なモデルデータと組み合わせて活用することで思い通りの生成結果を導くことができるツールです。

ControlNetのインストールやモデルデータのダウンロードなどについては、「ControlNetをStable Diffusion web uiへインストール」をご覧ください。

ControlNetの「depth」の特徴

「depth」は深度情報を扱うControlNetのモデルになっており、inputした画像の深度を抽出し、その深度データに沿った画像を生成することが可能になります。深度データは手前にあるほど白く、奥にあるほど黒く表示されます。

ControlNetへのインプット

ControlNet「depth_leres」からの解析情報

ControlNet「depth_leres++」からの解析情報

ControlNet「depth_midas」からの解析情報

ControlNet「depth_zoe」からの解析情報

ControlNetの「depth」の活用方法

depthはOpenposeや線画情報を取得するcannyと比べると上記の解析情報を見ておわかりの通り、色情報などは含まれず、大枠で取ってきています。最も詳細に取っている、depth_leres++でも詳細な輪郭などは取得してきていませんので、前後関係や大枠の構図などを維持するといった目的では利用できますが詳細に再現するということは苦手です。

「depth」からの解析情報を元に再生成

肩や髪の毛などの前後関係は取れていますが、色情報や目の形、目の色などは詳細に再現はされていません。

「depth」の特性まとめ

・depthはControlNetで利用可能なモデル
・プロセッサーは4つ有り、depth_leres++が最も詳細に取得する
・物の前後関係など、奥行き情報が重要なときに力を発揮する。