vidu Q3生成バトルシーンをWanでアップスケール検証

AIアニメプロジェクトの検証を進める中で、今回はvidu Q3で生成したバトルシーン動画を、Wanを用いてアップスケールする実験を行いました。

目的は、動画生成AIで頻発する「溶け」と呼ばれる問題を、後工程でどこまで改善できるのかを確認することです。

実験の背景

vidu Q3による動画生成は、全体の動きが自然。カメラワークに躍動感がある、アニメ的な演出意識を感じるカットが出やすいといった点で、これまでの動画生成AIと比べても非常に手応えがあります。

一方で、生成直後の動画を細かく見ていくと、

・輪郭や細部が溶ける
・フレーム間で情報が不安定になる
・一部ディテールが曖昧になる

といった課題も依然として残っていました。

そこで今回は、アップスケーラーによる後処理でこの問題をどこまで解消できるのかを検証することにしました。

結論から言うと、改善は確認できましたが、完璧とは言えないという結果になりました。

実験を行ってみて、

・完全に溶けを解消できるわけではない
・フレーム間の違和感が残るカットもある
・アップスケールによって絵柄が変わってしまう場合がある

という課題も残りました。この溶けを改善する方法については引き続き探っていきたいと思います。