MetahumanSDKを使ったAIアバターを作ったよ

MetahumanSDKを使ったAIアバターを作ったよ武村達也 2025.2.15 Unreal Engine Meetup Hiroshima #1

自己紹介武村達也某ITコンサル会社勤務非エンジニア（前職は某地方銀行30年）＠tatsuya1970 ・文系ですが、趣味でゲームや電子工作を作成・ハッカソンに約20回参加入賞多数
・趣味は、リツイート

Unreal Engineを始めたきっかけ

国土交通省 PLATEAU（プラトー）

PLATEAUの広島市紙屋町近辺のデータをフォートナイトへ（島コード 8767-5832-9806） https://youtu.be/QUnpZmurgF0 当日は動画を流しました。 ※動画は右QRコード、または下URLから

本題

作ったもの AIアバター当日は動画を流しました。 ※動画は右QRコード、または下URLから https://youtu.be/xlWKQUQ0rg8

経緯

昔、Unity + Live2Dで自分のアバター作成当日は動画を流しました。 ※動画は右QRコード、または下URLから https://youtu.be/6WbgKR_PspA

その作成方法を技術ブログ（Qiita)に公開したところ https://qiita.com/tatsuya1970/items/d2d3e460cf310957e2f0

お仕事が舞い込んできた（副業）オーダー：案件化前の技術検証・フォトリアルな受付AI ・リップシンク・ウェブで動く

Live2D 商用利用はいろいろ大変らしいので却下

生成AI 「HeyGen」 API利用金額が高そうなので却下当日は動画を流しました。 ※動画は右QRコード、または下URLから https://youtu.be/yc_FrwIQiJY

Character Creator なぜかUnityにアップすると劣化したので却下

Blenderの何かのプラグイン不気味の谷を越えられないので却下

AVATAR SDK これも不気味の谷を越えられないので却下

Unityのアセット「AVATAR MAKER」これも不気味の谷を越えられないので却下

Unity + WebGL そもそもマイクに対応してないことが判明し却下 ※当日参加者の方から指摘があり、もしかしたら、対応するかも。

Unreal Engine ＋ Metahuman + WebGL UE５では対応してない UE4にダウングレードするもスタック WebGL はあきらめる

Unreal Engine ＋ Metahuman + Pixel Streaming

Omniverse Audio2Face （自分のPCのスペックではすぐフリーズ） UE5からPythonを実行 PythonでOpenAIのWhisperAPIを利用プラグイン：Runtime Speech Recognizer いろいろ試行錯誤するも、うまくいかない

Google Speech Kit これでうまく行った！

ブループリント

できた！！ https://youtu.be/xlWKQUQ0rg8

作成方法はこちら https://note.com/project_design/n/n184e226183c5

ありがとうございました

MetahumanSDKを使ったAIアバターを作ったよ

MetahumanSDKを使ったAIアバターを作ったよ

tatsuya1970

More Decks by tatsuya1970

Other Decks in Technology

Featured

Transcript