ControlNet – Referenceの特性や使い方を解説 / Stable Diffusion web UI

Stable Diffusionの拡張機能、ControlNetのモデルの一つReferenceモデル。インプットした画像から参照元画像と類似した画像生成が可能なモデルです。

今回はReferenceの特性や使い方を実際に生成したアウトプットを形成しながら解説して行きたいと思います。

ControlNetの導入について

ControlNetは、Stable Diffusionの拡張機能の一つで、様々なモデルデータと組み合わせて活用することで思い通りの生成結果を導くことができるツールです。

ControlNetのインストールやモデルデータのダウンロードなどについては、「ControlNetをStable Diffusion web uiへインストール」をご覧ください。

ControlNetの「Reference」の特徴

「Reference」は、「reference only（リファレンス・オンリー）」「reference adain（リファレンス・アダイン）」「reference adain attn（リファレンス・アダイン・アテンション）」の3つのプリプロセッサが用意されており、LoRAを使わずに、参照元の画像と同じような画像を連続して生成することが可能になっています。

ControlNetへのインプット

ControlNet「reference only」での出力

ControlNet「reference adain」での出力

ControlNet「reference adain attn」での出力

ControlNetの「Reference」の活用方法

LoRAを使わないと難しかった同じキャラクターの別画像を生成するのに

「refarence_only」から笑顔に変えての出力

「Reference」の特性まとめ

・ReferenceはControlNetで利用可能なモデル
・プロセッサーは3つ有り、reference onlyがドキュメントも情報も多くオススメ
・プロンプトを服装などより作り込めばブレ無く同じキャラクターの生成が可能