ControlNet – instruct pix2pix（ip2p）の特性や使い方を解説 / Stable Diffusion web UI

Stable Diffusionの拡張機能、ControlNetのモデルの一つinstruct pix2pix（ip2p）。画像にポジティブプロンプトで命令をあたえて、ベースを保ちながら一部だけ変更するというものです。

今回はnstruct pix2pix（ip2p）の特性や使い方を実際に生成したアウトプットを形成しながら解説して行きたいと思います。

ControlNetの導入について

ControlNetは、Stable Diffusionの拡張機能の一つで、様々なモデルデータと組み合わせて活用することで思い通りの生成結果を導くことができるツールです。

ControlNetのインストールやモデルデータのダウンロードなどについては、「ControlNetをStable Diffusion web uiへインストール」をご覧ください。

ControlNetの「nstruct pix2pix（ip2p）」の特徴

「nstruct pix2pix（ip2p）」は、img2imgで利用します。ベースのモデルをimg2imgで、ControlNetにて、「Single Image」は空欄のままとし、「Enable」（ControlNetの実行）と「Pixel Perfect」（画像の大きさを自動調整）にチェックを入れて実行します。

「robot」で出力

「smile」で出力

「angry」で出力

ControlNetの「instruct pix2pix（ip2p）」の活用方法

キャラクター性を保ったまま、画像の一部分のみを変化させたり、そもそものキャラクター性を変化させたり、プロンプトの使い方とパラメーター次第で使えそうですね。使い方もシンプルなので迷うこともなさそうです。

「instruct pix2pix（ip2p）」の特性まとめ

・instruct pix2pix（ip2p）はControlNetで利用可能なモデル
・img2imgで利用し、ポジティブプロンプトで指示をする
・ガラリとかえるようなプロンプトのほうが変化がわかりやすい