ControlNet – Scribble/Sketchの特性や使い方を解説 / Stable Diffusion web UI

Stable Diffusionの拡張機能、ControlNetのモデルの一つScribble/Sketchモデル。ラフな線画からイラストレーションを生成してくれます。

今回はScribble/Sketchの特性や使い方を実際に生成したアウトプットを形成しながら解説して行きたいと思います。

ControlNetの導入について

ControlNetは、Stable Diffusionの拡張機能の一つで、様々なモデルデータと組み合わせて活用することで思い通りの生成結果を導くことができるツールです。

ControlNetのインストールやモデルデータのダウンロードなどについては、「ControlNetをStable Diffusion web uiへインストール」をご覧ください。

ControlNetの「Scribble/Sketch」の特徴

「Scribble/Sketch」は、いくつかのプリプロセッサが用意されており、「scribble_hed」「scribble_pidinet」「scribble_xdog」「t2ia_sketch_pidi」と4つのプリプロセッサが用意されていますが、生成するためのラフから抽出する線がが異なります。今回はラフ絵から抽出された線がとともにアウトプットを検証してみました。

「scribble_hed」で出力

「scribble_pidinet」で出力

「scribble_xdog」で出力

「t2ia_sketch_pidi」で出力

ControlNetの「Scribble/Sketch」の活用方法

上記のようなある程度書き込んだラフだけではなくて、かなりラフラフなスケッチからも生成可能です。さらに強度をコントロールすることで、どの程度ラフに近づけるか？などもコントロール可能です。上記はシンプルなプロンプトでの生成のため揺れがありますが、プロンプトでもかなり制御が可能です。

「Scribble/Sketch」の特性まとめ

・Scribble/SketchはControlNetで利用可能なモデル
・プロセッサーは4つ有り、ベースとなる抽出線画が異なる
・さらにざっくりとしたラフスケッチでも生成可能