ラフスケッチに光源を描き込み、生成AIで「撮影」の感覚を探る

イラストの生成AIによるブラッシュアップは今まで様々な方法で試してきましたが、今回は同じくラフラフで書いた棒人間に対して、光源の位置を指定して、光源の効果をイラストに反映させるテストを実施しました。

ラフに太陽のような丸を記載

光源を設定するために、プロンプトではなく、ラフスケッチ側に光源位置を書き加えます。今回はシンプルに丸を書きました。

これらをtxt2img、img2imgで光源の影響をイラストどのように反映されるかを動画にまとめました。さらにこの丸を動かして、光源の効果の位置による差分をテストしました。

txt2imgで光源テスト

まずはtxt2imgで生成した結果を動画にまとめました。

img2imgで光源テスト

次にimg2imgでのテスト。背景が白いため、背景はシンプルなものになります。

テスト結果

全体的に光源がはっきりと反映されているわけでは有りませんが、光源の位置によって少なからず照明効果が反映されているように見えます。もう少し背景を暗くするなど工夫すれば、さらに分かりやすい結果になるかもしれません。

アニメ制作における活用方法

今回は、光源移動による光源が及ぼす生成イラストの変化を検証しました。アニメ制作工程では、「撮影」の部分で役立つ可能性があります。

「撮影」は原画・動画を経て、仕上げ済みのセル素材と美術背景などの素材を全て合成して、撮影効果・特殊効果を加えるコンポジット工程です。

アニメの制作工程で後半部分となる為、特に時間の無い中での作業となる事が多く、今回の実験のように、早い段階でどのような撮影イメージを確認できれば、事前の準備や最終的な絵作りイメージを撮影監督や各制作担当者等で検討し共有できる可能性があり、それにより、撮影担当者の負担を減らしスムーズな撮影作業が行えるのでは

撮影の検討や確認を行う場合は、必要なカットを優先的に作成して素材を準備する場合が一般的ですが、今回のような方法で事前にイメージを共有して検討する事が、撮影監督のよりクリエイティブな環境作りにも繋がる可能性があります。

ただ、まだそのまま撮影工程へ持ち込む事は現状クオリティでは不可能で、あくまで検討段階の精度を上げるという活用が効果的だと考えています。
（K&Kデザイン）