透過画像を自在に生成できる画像生成AI「LayerDiffuse」

生成AIによる画像生成技術が目覚ましい発展を遂げていますが、レイヤー構造を持つ、高品質な透過画像データが不足していることと、既存モデルの潜在表現を操作することが難しく、透過画像を生成する研究はあまり進んでいませんでした。

そんな中、透明画像生成を可能にする新手法「LayerDiffuse」が発表。透明度を潜在空間の微小オフセットとしてエンコードすることで、Stable Diffusionの高い品質を保ったまま透明画像を生成可能にしました。

LayerDiffuseの主な特徴と機能

・テキストから単一の透明画像を生成
・複数の透明レイヤーを同時に生成し自然に合成
・前景や背景を条件に、マッチする背景や前景レイヤーを生成
・画像の構造を制御しながら透明画像を生成
・ControlNetなど既存の画像生成制御手法とも併用可能

LayerDiffuseによって変わること

クリエイターやデザイナーは手軽に高品質な透明画像やレイヤーを生成できるようになることで、画像生成AIでの制作が広がり、ゲームやVRのアセット制作、グラフィックデザインなど、プロフェッショナルな用途でも活用が期待されます。

LayerDiffuseがあらゆるジャンルのコンテンツ制作を変えていくことになると思います。

Transparent Image Layer Diffusion using Latent Transparency
https://arxiv.org/abs/2402.17113

sd-forge-layerdiffuse
https://github.com/layerdiffusion/LayerDiffuse?tab=readme-ov-file