ControlNet – MLSDの特性や使い方を解説 / Stable Diffusion web UI

Stable Diffusionの拡張機能、ControlNetのモデルの一つMLSD（直線抽出）モデル。インプットした画像から直線のみを検出し、それに沿った画像生成が可能なモデルです。

今回はMLSDの特性や使い方を実際に生成したアウトプットを形成しながら解説して行きたいと思います。

ControlNetの導入について

ControlNetは、Stable Diffusionの拡張機能の一つで、様々なモデルデータと組み合わせて活用することで思い通りの生成結果を導くことができるツールです。

ControlNetのインストールやモデルデータのダウンロードなどについては、「ControlNetをStable Diffusion web uiへインストール」をご覧ください。

ControlNetの「MLSD」の特徴

「MLSD」は画像から直線のみを抽出し扱うControlNetのモデルになっており、inputした画像の直線部分のみを抽出します。そのためイラストレーションや人物のインプットは向いておらず部屋や建築物に対して有効なモデルとなっています。

ControlNetへのインプット

ControlNet「MLSD」からの解析情報

ControlNetの「MLSD」の活用方法

MLSDは直線部分のみ検出するため、それ以外の部分は消えています。全てが検出できるわけではないため、部屋の構造やレイアウトをキープする程度の目的で利用するのが良いと思います。

「MLSD」からの解析情報を元に再生成

部屋の梁や窓の構造は保ちながら、AIで保管して新しい部屋のデザインを校正しています。こういった内装デザインには大きく力を発揮してくれそうです。

「MLSD」の特性まとめ

・MLSDはControlNetで利用可能なモデル
・直線のみを検出するため人物やイラストレーションにはあまり向いていない
・全ての直線が検出されるわけではない
・建築デザインには役に立つ