映像からDansePoseを抽出できる「Vid2DensePose」
「MagicAnimate」については「1枚の画像からアニメ生成が可能な「Magic Animate」をwindowsローカル環境に構築」や「画像から1クリックでアニメ生成が可能な「Magic Animate」の利用方法」という形で紹介し、「MagicAnimate×Midjourneyでイラストのダンスムービー検証」でオリジナルの画像を利用した例を紹介してきましたが、今回はオリジナルのDensePoseを利用して実行するために、映像からDansePoseを抽出できる「Vid2DensePose」をについて紹介したいと思います。
Vid2DensePoseとは?
映像からDensePoseを抽出できるツール。各フレームごとにDancePoseを作成し動画化してくれます。
Vid2DensePoseのインストールの前提条件
Python 3.8 以降、PyTorch、Detectron2、FFmpegが必要で、現状Linux、macOS上での動作となり、windowsでは動作しません。そのためGoogleColabか、もしくはHugging Face上のデモを利用します。
素材を準備
今回はロイヤリティフリーの画像や動画素材を提供するPexelsから動画データをお借りして、Vid2DensePoseでDensePoseを抽出してみました。かなり大きなデータなので720程度に縮小し、かつ4秒程度の動画調整します。
今回は以下のURLの動画をお借りました。
https://www.pexels.com/ja-jp/video/4584890/
Video 2 DensePoseで変換
Video2DensePoseにアクセスし動画をアップロードし、動画が読み込まれたらSubmitで処理を開始します。しばらく待てば動画は変換されます。私の環境ではプレビューが表示されませんでしたが、ダウンロードしたらきちんとDancePoseが生成されていました。
オリジナルのDensePoseでMagicAnimate
特段特別な操作は必要なく用意したDensePoseを利用してみます。リファレンスはモナリザを利用。きちんとOpenposeが読み込まれていますね。
ただ、前後の動きや横を向く動きなどをするとかなり崩れてしまうので、DensePoseの作り方にもかなりコツがいりそうです。
magic-animate-for-windows
https://github.com/sdbds/magic-animate-for-windows
※当サイトに掲載されている商標、一部画像、スクリ-ンショット、文章に置いては著作権侵害を目的に利用しておらず、第三十二条で定められる引用の範囲で使用しています。万が一問題があれば、お問い合わせからご連絡ください。即刻削除いたします。また、本ブログは業務の研究開発のためのものとなり、一部、弊社に関連性が無いものも掲載しております。
生成AI・AIの導入・研修・DXの支援はtazikuへ
生成AI・LLMなど、AIを活用したAIの導入・DXコンサルティング、AI領域の研修・講演などのご相談はお気軽にお問い合わせフォーム、もしくは生成AIソリューションDXAIから、ご相談・お問い合せください。