ControlNet – Normal Mapの特性や使い方を解説 / Stable Diffusion web UI

Stable Diffusionの拡張機能、ControlNetのモデルの一つNormal Map（法線）モデル。インプットした画像から表面の微細なディテールや凹凸を抽出し、それに沿った画像生成が可能なモデルです。

今回はNormal Mapの特性や使い方を実際に生成したアウトプットを形成しながら解説して行きたいと思います。

ControlNetの導入について

ControlNetは、Stable Diffusionの拡張機能の一つで、様々なモデルデータと組み合わせて活用することで思い通りの生成結果を導くことができるツールです。

ControlNetのインストールやモデルデータのダウンロードなどについては、「ControlNetをStable Diffusion web uiへインストール」をご覧ください。

ControlNetの「Normal Map」の特徴

「Normal Map」は法線を扱うControlNetのモデルになっており、inputした画像の表面の微細なディテールや凹凸を抽出し、その法線データに沿った画像を生成することが可能になります。ノーマルマップは法線データの各ピクセルの色がその点での法線方向を表すものとなっています。

ControlNetへのインプット

ControlNet「nomal_bea」からの解析情報

ControlNet「nomal_midas」からの解析情報

ControlNetの「Normal Map」の活用方法

Normal Mapはイラストなどではあまり上手く取れないようで、プロセッサによっては、全く検出されないこともあります。凹凸がはっきりしており、それらを再現する際などには力を発揮してくれそうです。

「Normal Map」からの解析情報を元に再生成

nomal_beaから生成、全面の立体的で凹凸がわかりやすい髪の毛の部分は再現できていますが、後ろの方の検出されていない髪の毛は描かれませんでした。

「Normal Maps」の特性まとめ

・Normal MapsはControlNetで利用可能なモデル
・プロセッサーは2つ有り、nomal_beaの方が検出条件がゆるい
・しっかりとした凹凸感が無いと検出されない