Stable Diffusion:Loraの利用方法について解説
table Diffusionにはモデルデータの他に、追加学習データであるLoRaファイルを読み込んで、画像生成を行うことが可能です。
LoRA(Low-Rank Adaptation)とは?
LoRA(Low-Rank Adaptation)は、Stable Diffusionモデルに対して、数十枚の画像を利用して、追加学習させることによりファインチューニングが行えるものです。LoRAを利用することで元のモデルデータの特徴や学習を活かしながら、キャラクター性や服装などの特徴を固定して画像生成が可能です。
LoRAファイルの入手方法
LoRAファイルは既存で公開されているものをダウンロードするか、自身で学習したものを利用するかとなります。様々なサイトで公開されていますが、「Civitai」では様々なLoRAが公開されています。
実際に自分で作成してみたいという方は「Stable Diffusion LoRAデータ作成 sd-scriptsインストール編」からの連載をご覧ください。
LoRAファイルの利用方法
モデルデータと同じく、LoRAファイルをStable Diffusionのディレクトリに配置することで利用できます。ローカル環境の場合以下のディレクトリがLoRAファイルを設置する場所となります。
(Stable Diffusion設置ディレクトリ)/stable-diffusion-webui-models/models/Lora/
LoRAファイルの利用について
LoRAファイルを指定した場所に設置したら、各LoRAに設定されているプロンプトを利用して画像生成を行います。実際に今回はフィルムスタイルのAIポートレート写真を生成できる「LEOSAM’s FilmGirl 胶片风 Film Grain LoRA & LoHA」と言うLoRAを利用して画像を生成してみます。
左/LoRA無し 右/LoRA有り
同一プロンプト+同一シード値、LoRA有りはで生成。若干ノイズがかかり、ザラッとした印象と顔立ちも少しだけ生っぽい感じに調整されました。同じフーディーですが、生成され直しているので柄などは、同一プロンプト+同一シード値でも若干調整がかかります。
LoRAを活用して思い通りの画像生成
LoRAは様々な種類のものがリリースされており、上記のような画像の雰囲気を調整するものから、キャラクター性に寄せたもの、特定のシチュエーションに特化したものまで様々です。自分が思い描くLoRAを見つけることができれば、かなり精度を上げて画像生成を行うことが可能です。
また自分で作成することもできますので、利用に慣れてきたらLoRAを作成してみるのも良いかもしれません。
※当サイトに掲載されている商標、一部画像、スクリ-ンショット、文章に置いては著作権侵害を目的に利用しておらず、第三十二条で定められる引用の範囲で使用しています。万が一問題があれば、お問い合わせからご連絡ください。即刻削除いたします。また、本ブログは業務の研究開発のためのものとなり、一部、弊社に関連性が無いものも掲載しております。
Stable Diffusion 最新情報
tazikuでは画像生成AI Stable Diffusion(スティーブルディフュージョン)AUTOMATIC1111を中心に、最新情報、機能紹介、様々なTipsを発信中!Stable Diffusionに関するまとめ記事、記事一覧は以下のリンクからご覧ください。
生成AI・AIの導入・研修・DXの支援はtazikuへ
生成AI・LLMなど、AIを活用したAIの導入・DXコンサルティング、AI領域の研修・講演などのご相談はお気軽にお問い合わせフォーム、もしくは生成AIソリューションDXAIから、ご相談・お問い合せください。