table Diffusionにはモデルデータの他に、追加学習データであるLoRaファイルを読み込んで、画像生成を行うことが可能です。
LoRA（Low-Rank Adaptation）とは？
LoRA（Low-Rank Adaptation）は、Stable Diffusionモデルに対して、数十枚の画像を利用して、追加学習させることによりファインチューニングが行えるものです。LoRAを利用することで元のモデルデータの特徴や学習を活かしながら、キャラクター性や服装などの特徴を固定して画像生成が可能です。
LoRAファイルの入手方法
LoRAファイルは既存で公開されているものをダウンロードするか、自身で学習したものを利用するかとなります。様々なサイトで公開されていますが、「Civitai」では様々なLoRAが公開されています。
実際に自分で作成してみたいという方は「Stable Diffusion LoRAデータ作成 sd-scriptsインストール編」からの連載をご覧ください。
LoRAファイルの利用方法
モデルデータと同じく、LoRAファイルをStable Diffusionのディレクトリに配置することで利用できます。ローカル環境の場合以下のディレクトリがLoRAファイルを設置する場所となります。
（Stable Diffusion設置ディレクトリ）/stable-diffusion-webui-models/models/Lora/LoRAファイルの利用について
LoRAファイルを指定した場所に設置したら、各LoRAに設定されているプロンプトを利用して画像生成を行います。実際に今回はフィルムスタイルのAIポートレート写真を生成できる「LEOSAM’s FilmGirl 胶片风 Film Grain LoRA & LoHA」と言うLoRAを利用して画像を生成してみます。
左/LoRA無し 右/LoRA有り
同一プロンプト+同一シード値、LoRA有りはで生成。若干ノイズがかかり、ザラッとした印象と顔立ちも少しだけ生っぽい感じに調整されました。同じフーディーですが、生成され直しているので柄などは、同一プロンプト+同一シード値でも若干調整がかかります。
LoRAを活用して思い通りの画像生成
LoRAは様々な種類のものがリリースされており、上記のような画像の雰囲気を調整するものから、キャラクター性に寄せたもの、特定のシチュエーションに特化したものまで様々です。自分が思い描くLoRAを見つけることができれば、かなり精度を上げて画像生成を行うことが可能です。
また自分で作成することもできますので、利用に慣れてきたらLoRAを作成してみるのも良いかもしれません。
