Clip skipの値が生成結果に与える影響をテスト
先日「Clip skipをStable Diffusion WebUIで設定する」という記事で、Clip skipの設定方法について触れましたが、今回はClip skipの値が画像生成にどう影響するのかを実際試してみました。
Clip skipとは?
Clipとは、「テキストと画像の関連性を学習する」モデル。clip を使って、プロンプトから生成させたい画像が何かを判断しています。Stable Diffusion は、このClipを12層重ねて、画像を生成しています。
Clip skipとは、この層を何層目で止めて画像を生成するかという設定になり、重ねれば重なるほど様々な概念が入ってきて、ある程度まではクオリティがあがりますが、多くの場合多すぎてよくわからない画像が出力されてしまうという形になります。
Clip skipの値変更による生成結果
Clip skip1〜12まで、同一シード、同一プロンプトで生成しました。
Clip skip1
Clip skip2
Clip skip3
Clip skip4
Clip skip5
Clip skip6
Clip skip7
Clip skip8
Clip skip9
Clip skip10
Clip skip11
Clip skip12
Clip skipの値とクオリティについて
明確に6あたりからは要素が多すぎてキャラクターのデザインが保たれなくなってきています。後半にもなるともはやプロンプトの意図はまったく反映されていないものになりました。
モデルにもよりますが、いつも違う感覚だったり、少し変化を加えたいときはClip skipの値を多少上げてみるのも一つの手かもしれませんね。
※当サイトに掲載されている商標、一部画像、スクリ-ンショット、文章に置いては著作権侵害を目的に利用しておらず、第三十二条で定められる引用の範囲で使用しています。万が一問題があれば、お問い合わせからご連絡ください。即刻削除いたします。また、本ブログは業務の研究開発のためのものとなり、一部、弊社に関連性が無いものも掲載しております。
Stable Diffusion 最新情報
tazikuでは画像生成AI Stable Diffusion(スティーブルディフュージョン)AUTOMATIC1111を中心に、最新情報、機能紹介、様々なTipsを発信中!Stable Diffusionに関するまとめ記事、記事一覧は以下のリンクからご覧ください。
生成AI・AIの導入・研修・DXの支援はtazikuへ
生成AI・LLMなど、AIを活用したAIの導入・DXコンサルティング、AI領域の研修・講演などのご相談はお気軽にお問い合わせフォーム、もしくは生成AIソリューションDXAIから、ご相談・お問い合せください。