ControlNet -Shuffleの特性や使い方を解説 / Stable Diffusion web UI

Stable Diffusionの拡張機能、ControlNetのモデルの一つShuffle。インプットした画像を一度分解し、画像を再構成して、その画像に近づけるというものです。

今回はShuffleの特性や使い方を実際に生成したアウトプットを形成しながら解説して行きたいと思います。

ControlNetの導入について

ControlNetは、Stable Diffusionの拡張機能の一つで、様々なモデルデータと組み合わせて活用することで思い通りの生成結果を導くことができるツールです。

ControlNetのインストールやモデルデータのダウンロードなどについては、「ControlNetをStable Diffusion web uiへインストール」をご覧ください。

ControlNetの「Shuffle」の特徴

「Shuffle」は一度画像をグニャグニャに分解し、それらをベースメントとして新たに再構築を行うというものです。言葉だとかなりわかりにくいため、以下のアウトプットをご覧ください。

ControlNetへのインプット

ControlNet「Shuffle」からの解析情報

ControlNetの「Shuffle」の活用方法

「Shuffle」からの解析情報を元に再生成

今回は女の子のベースメントから男の子へプロンプトを変更し、再生成しています。完全に一致はしていませんが、大元の画像の特性を一部引き継いて再構築されています。

「Shuffle」の特性まとめ

・ShuffleはControlNetで利用可能なモデル
・簡易的なLoRAのように作用する。
・完全な特徴ではなく、ある程度大枠の特徴が引き継がれる