フォークギター with VFXの 制作を軽率に振り返ろう！ / look back fork guitar with vfx

PerformersFes振り返り感想会にて登壇した資料です
https://iwakenlab.connpass.com/event/350632/

Transcript

1. フォークギター with VFXの 制作を軽率に振り返ろう！ にー兄さん@ninisan_drumath PerformersFestこだわり解説感想戦
2. アジェンダ - はじめに - フォークギター with VFXの概要 - 制作について - VFX Graphのこだわり - おわりに
3. はじめに
4. にー兄さん(@ninisan_drumath) ソフトウェアエンジニア “Babylon.jsとWebXR Device APIの宣教師” 株式会社ホロラボ Babylon.js勉強会運営 Iwaken Lab. Microsoft MVP for Developer Technologies
5. 本日のお話 2025/3/25のIwakenLab Performers Festで披露した フォークギター with VFXの制作について - どんなことを考えて - どんなツールを使って - どんなものを作ったのか 本日のゴール： - お客さんやラボメンに演出のこだわりについて知ってもらう - Unity VFX Graphええやん！って思ってもらう - 自分がインタラクティブなクリエイティブについて言語化して整理する
6. フォークギター with VFX の概要
7. オーディオリアクティブな動点群ビジュアルエフェクト これまでKinectを使ったVFXをいくつか制作 →その流れで今回お誘い フェスということで音楽と組み合わせよう →自分が好きなフォークギターで
8. パフォーマンス風景
9. 使用技術 - Azure Kinect (Sensor SDK) - Unity 6000.0.42 - HDRP - VFX Graph - Cinemachine
10. Unityプロジェクト GitHubに公開しています（AzureKinectがないと動かないですが） https://github.com/drumath2237/PerformersFes2025
11. 機材構成 センサリング対象は人とギター 演奏してる手前にAzureKinect を配置 ギターはマイク録り（エレアコではない） 後ろのスクリーンに投影
12. 処理フロー センサリングや演出のシステムはUnity フォークギターの音を取得 AzureKinectからデータを取得 Unityで演出を加えてレンダリング 全画面ビルドしたアプリ画面を スクリーンに投影
13. AzureKinectとは Microsoftが製品開発するカメラデバイス カラーは720p～4Kまで Depth画像の取得も可能 IMUもついてるので加速度もとれる Body-Trackingもできる 9つのマイクアレイも搭載 使うと楽しくなるおもちゃ！
14. Depth画像 深度画像と呼ばれる カメラからの距離を画素で 示したもの ToFセンサによって取得可能 他にIntel RealSenseとか https://lightbuzz.com/azure-kinect-masterclass-depth/
15. 制作について
16. 制作進行 GitHub Projectsを使ってissue管理
17. ベロシティ 直前から初めて前々日から加速するのはやめよう！
18. VFX Graphのこだわり
19. 制作の方針 - あまりコードを書かない - 演出処理の過度な共通化を避ける
20. 演出の実装スピードを重視 見た目が大事な制作において 見た目のFBループを早くすることが大事 C#のコンパイル時間がもったいないので Scriptによる演出制御はなるべく避けた →インスペクタなどからシーン再生中にリアルタイムに設定値変更 処理の共通化はばらすのが大変 →スクラップアンドビルドしやすくしたい
21. なるべくポチポチ変更で対応する Unityのクリエイティブツールを使っていく VFX Graph！ Cinemachineも導入してよかった
22. VFX Graph GPUベースでリッチなビジュアルエフェクトを作れる ノードベースツール 炎・煙・魔法・爆発などをリアルタイムで制御＆表現可能 https://unity.com/ja/features/visual-effect-graph
23. （本資料は作りかけです）
24. 続きはFigJam