AI動画生成ガチャ紹介

Transcript

1. AI動画生成 (I2V) ガチャ紹介 鳥越 貴智 #meetup_ds 2025/03/28
2. はじめに • 春恒例？のAI生成シリーズ続編です • 2025年始からAI動画生成ガチャで遊んでいるので紹介します ◦ 時間と金が足りない……orz • 私の主な生成工程は ◦ Midjourney & niji・journeyでプロンプト書いてAI画像生成 ◦ Adobe After Effectsで必要に応じて画像編集 ◦ Kling AIで、上記の画像をスタートフレーム or エンドフレーム 指定＆プロンプト書いてAI動画生成 (I2V: Image To Video) • 本スライドの画像は全て、自身で生成・編集したものです https://speakerdeck.com/piyo7/aihua-xiang-sheng-cheng-noshao -jie-suraidowoaihua-xiang-toaitiyatutodezuo-tutemita https://speakerdeck.com/piyo7/aiirasutosheng-cheng-bian-ji-tek unitukushao-jie
3. Kling AIとは • 快手（中国のショートビデオアプリ運営会社）のAI動画生成サービス ◦ ざっくり50円で5秒フルHD動画1生成くらいの価格 ▪ Monthly Pro: 3000 Credits / $32.56, Professional 5s: 35 Credits / Generating Count ◦ 調子がよければ数分で1~4動画生成 • 2025年初に、競合のRunway・Hailuo AI・Luma AIあたりと軽く比較したかぎりでは、画風に依らず プロンプトに従ってきびきび動いてくれる印象 ◦ 他にもOpenAI Sora・Google Veo2など試してみたいですが、時間と金が……orz • 「blood」系の単語も入れていますが、今のところセンシティブフィルターには引っかからず • Motion BrushやCamera Movementなどオプション豊富だが、最新バージョンでは使えないことも
4. Kling AI画面例 プロンプト入力 フレーム入力
5. ガチャ例：歩きループ • 奇妙なデザインの猫ながら、きちんと猫らしく手足を動かして歩く ◦ 手足が交差する際に、手前と奥の関係がぬるっと逆転する失敗例あり • お尻から掛かっている謎の虹がプロンプト通りに揺らめく • スタート・エンドフレームで同一画像を指定するとループ素材が作れそうで作れない ◦ エンドフレームはあくまで目標のようで、指定画像からちょっとズレます voxel cat runs in black background, rainbow comet tail wavers フレーム指定 フレーム指定
6. ガチャ例：ペラペラ回転ループ • ペラペラな物体と認識されたうえで謎のZ軸回転をしはじめる ◦ 後で背景を合成するため黒背景にしているが、そのぶん奥行きが取りにくいっぽい ◦ 上記スクショには映ってないですが、エンドフレームもスタートフレームと同一画像を指定してい るため、なんとか元に戻れる動きを捻りだしたしたっぽい voxel cat swims butterfly high in black background, rainbow comet tail wavers フレーム指定
7. ガチャ例：羽が生えて飛び去る • 奇妙なデザインの猫にマッチした質感の羽が生えてくる • 尻尾と虹が途中で融合してしまう ちなみに、この猫はNyan Catという昔のネットミームをモチーフにしたもので、これらの生成結果を 使って編集した実験動画はYouTubeにアップロードしています。よろしければ高評価を……ｗ https://www.youtube.com/watch?v=BVBMVjsITi4 （タイトル「Space Nyan Cat」） voxel cat grows white wings on its back and flies away in black background, rainbow comet tail wavers フレーム指定
8. ガチャ例：動く油絵 • 油絵の画風のまま巨大な花が開く ◦ こういった映像表現は作画コストが高すぎて、やりたくても避けられてきた印象 • プロンプトで言及していない背景は微動だにしない ◦ 花の下の海面には、花が開くにつれて微妙に影が落ちている red huge flower blooms, timelapse フレーム指定
9. ガチャ例：動く線画 • 目と口はよく動いており、目を閉じるのにあわせて髪や花飾りも僅かながら自然に動いている • しっかりと首を動かして顔を横に向けてほしかったが、そうはならなかった ◦ もともとスタートフレーム画像が横を向いているので指示が悪かった気が…… ◦ 線画なので立体的な動きは難しいのかも girl opens her mouth, face turns to other side, red eye closes, hair sways, flower ornament sways フレーム指定
10. ガチャ例：海岸タイムラプス • 太陽が落ちる間に、波が一回だけ押し寄せる（めちゃくちゃ遅い） ◦ 空のみ or 波のみを見れば違和感ないが、時間軸が整合していない…… ◦ Motion Brush (Control the Movement of Objects) 機能を使えばうまく制御できるかも • 太陽が雲に落ちて海岸の反射も消え周囲が暗くなり月が出る、という一連の自然現象はよい big wave comes closer, clouds drift slowly フレーム指定
11. ガチャ例：肋骨の隙間に見える波 • 背景の波が、奇妙な天使の肋骨の隙間でも全体と整合して押し寄せる • 背景とキャラの画風が異なるもののそれぞれ自然に動いている ◦ フレーム指定している画像は、別々にAI生成した背景とキャラを合成したもの • 右の羽が少し閉じられた際の動きが平面的 ◦ キャラ画風が立体的に見えづらいかも angel girl sings, swaying from side to side, her wings flapping フレーム指定 フレーム指定
12. ガチャ例：傘で顔隠し • 傘の裏と表の骨の数が違う • 傘の柄が頬骨をすり抜けるような動きをしている ◦ 2枚目から3枚目にすっとフレームが飛ぶので、すり抜けの瞬間が描かれているわけではないが…… girl turns red umbrella forward to cover her face, red rain falling and dripping on her hair, wave comes closer フレーム指定
13. ガチャ例：空中に浮かぶ金魚たち • 空中に浮く金魚が沈むという奇妙なシーンを意図通り描けている ◦ ちらちら金魚によって部分的に隠される少女のデザインも崩れていない • 重なった金魚が融合したり分裂したりする ◦ こういったことは詳細を描けていない小さいオブジェクトで起きやすい印象 ◦ 動きが速いため初見では気付かないかも red goldfishes fall down in classroom フレーム指定
14. ガチャ例：大量のスマホが落下 • 落下したスマホの着地による破壊が色々とおかしい ◦ 着地する前に変形を始めているスマホがある ◦ 着地時に大きく変形するわりにヒビが入ったり粉々になったりしない ▪ スマホが赤一色すぎてゼリー状に見えている可能性があるかも ◦ 着地時の変形ついでに融合しているスマホがある red hard smartphones fall down slowly フレーム指定
15. まとめ • AI動画は今のところ目を凝らせば変なところは無数に見つかりがちだが、うまく使い所を絞るなり 編集で誤魔化すなりすれば、実写・CG・アニメと見分けられないくらいになってきたかも • AI画像パラパラマンガのチラつきをできるだけ抑えて頑張る時代の終わり ◦ あえてチラつかせる特殊な映像表現としての価値は残るとは思います ◦ 利用してるかも例「Lost」「電気グルーヴ35周年の歌」「doppelgänger 【Visualizer】」 • 今まで動かすのが大変だった画風もすっと動かせるので、新しい映像表現が生まれそう