ControlNet – Referenceの特性や使い方を解説 / Stable Diffusion web UI

2023年9月16日
AI All Technology

ControlNet Stable Diffusion

Stable Diffusionの拡張機能、ControlNetのモデルの一つReferenceモデル。インプットした画像から参照元画像と類似した画像生成が可能なモデルです。

今回はReferenceの特性や使い方を実際に生成したアウトプットを形成しながら解説して行きたいと思います。

ControlNetの導入について

ControlNetは、Stable Diffusionの拡張機能の一つで、様々なモデルデータと組み合わせて活用することで思い通りの生成結果を導くことができるツールです。

ControlNetのインストールやモデルデータのダウンロードなどについては、「ControlNetをStable Diffusion web uiへインストール」をご覧ください。

ControlNetの「Reference」の特徴

「Reference」は、「reference only（リファレンス・オンリー）」「reference adain（リファレンス・アダイン）」「reference adain attn（リファレンス・アダイン・アテンション）」の3つのプリプロセッサが用意されており、LoRAを使わずに、参照元の画像と同じような画像を連続して生成することが可能になっています。