ControlNetとOpenpose Editorを利用して自由な構図で生成する

前回「ControlNetをStable Diffusion web uiへインストール」という記事で、Stable Diffusionの生成画像の構図を自由にコントロールができるControlNetのインストール方法を紹介しましたが、今回は実際、ControlNetを利用してイラストを生成していきます。

ControlNetは、Stable Diffusionを組み合わせることで劇的に生成する画像の自由度、カスタマイズの幅が広がる拡張機能。さらに今回はポーズを自由に生成できるOpenpose Editorを利用して、ControlNetと組み合わせて生成する方法をご紹介します。

※本記事のスクリーンショットは日本語化後のスクリーンショットを用いています。Stable Diffusion web uiの日本語化は「Stable Diffusion web UIを日本語化する」からご覧ください。

Openpose Editorについて

Openpose Editorは以下のような棒人間でポーズ指定をすることが可能です。Openpose Editorの公式リポジトリは以下。

https://github.com/fkunn1326/openpose-editor

Openpose Editorをインストール

Stable Diffusion web uiを起動後、、「拡張機能」タブを選択し、さらに「URLからインストール」　タブを選択し、その中にある、拡張機能のリポジトリのURLに以下のURLを入力します。

https://github.com/fkunn1326/openpose-editor.git

URLの入力が完了したら「Install」をクリックします。その後、「インストール済」のタブから「適用してUIを再起動」のボタンをクリックします。

WebUIを再起動すると、「OpenPose Editor」というタブが追加されていればインストールは成功です。

Openpose Editorを利用してポーズをつくる

関節などを触って自由にポーズを作ることができます。試しに以下のように編集し、img2imgで画像を生成しました。

一発でうまくいかず、何度も生成しましたが、棒人間とおおよそ、同じ位置、同じポーズでイラストレーションが生成できました。

当然ですが、生成時間も普通に生成するよりも、かなり時間がかかります。ただポーズの自由度はかなり増しますのでイラストを生成している方はおすすめの拡張機能です。