ControlNet – Scribble/Sketchの特性や使い方を解説 / Stable Diffusion web UI
Stable Diffusionの拡張機能、ControlNetのモデルの一つScribble/Sketchモデル。ラフな線画からイラストレーションを生成してくれます。
今回はScribble/Sketchの特性や使い方を実際に生成したアウトプットを形成しながら解説して行きたいと思います。
ControlNetの導入について
ControlNetは、Stable Diffusionの拡張機能の一つで、様々なモデルデータと組み合わせて活用することで思い通りの生成結果を導くことができるツールです。
ControlNetのインストールやモデルデータのダウンロードなどについては、「ControlNetをStable Diffusion web uiへインストール」をご覧ください。
ControlNetの「Scribble/Sketch」の特徴
「Scribble/Sketch」は、いくつかのプリプロセッサが用意されており、「scribble_hed」「scribble_pidinet」「scribble_xdog」「t2ia_sketch_pidi」と4つのプリプロセッサが用意されていますが、生成するためのラフから抽出する線がが異なります。今回はラフ絵から抽出された線がとともにアウトプットを検証してみました。
「scribble_hed」で出力
「scribble_pidinet」で出力
「scribble_xdog」で出力
「t2ia_sketch_pidi」で出力
ControlNetの「Scribble/Sketch」の活用方法
上記のようなある程度書き込んだラフだけではなくて、かなりラフラフなスケッチからも生成可能です。さらに強度をコントロールすることで、どの程度ラフに近づけるか?などもコントロール可能です。上記はシンプルなプロンプトでの生成のため揺れがありますが、プロンプトでもかなり制御が可能です。
「Scribble/Sketch」の特性まとめ
・Scribble/SketchはControlNetで利用可能なモデル
・プロセッサーは4つ有り、ベースとなる抽出線画が異なる
・さらにざっくりとしたラフスケッチでも生成可能
Stable Diffusion 最新情報
tazikuでは画像生成AI Stable Diffusion(スティーブルディフュージョン)AUTOMATIC1111を中心に、最新情報、機能紹介、様々なTipsを発信中!Stable Diffusionに関するまとめ記事、記事一覧は以下のリンクからご覧ください。
生成AI・AIの導入・研修・DXの支援はtazikuへ
生成AI・LLMなど、AIを活用したAIの導入・DXコンサルティング、AI領域の研修・講演などのご相談はお気軽にお問い合わせフォーム、もしくは生成AIソリューションDXAIから、ご相談・お問い合せください。