Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
フォークギター with VFXの 制作を軽率に振り返ろう! / look back fork...
Search
にー兄さん
April 12, 2025
Technology
0
48
フォークギター with VFXの 制作を軽率に振り返ろう! / look back fork guitar with vfx
PerformersFes振り返り感想会にて登壇した資料です
https://iwakenlab.connpass.com/event/350632/
にー兄さん
April 12, 2025
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
XRエンジニアの視点から XRのイマと社会実装の実現について考える / thinking-about-xr-popularization
drumath2237
0
20
軽率にプログラミング言語のシンタックスについて考えてみよう / lets-think-about-programming-lang-syntax
drumath2237
0
64
エンジニアが軽率に趣味から始める、OSS貢献を軸とした個人活動 / oss-contribution-as-a-hoby-project
drumath2237
0
40
Babylon.js 8.0のアプデ情報を 軽率にキャッチアップ / catch-up-babylonjs-8
drumath2237
0
230
軽率に始まった Babylon.js勉強会運営の 1年間をふりかえって / look back babylonjs japan activity
drumath2237
0
76
利己的利他、 あるいは軽率2.0に備えよ。 / prepare-for-keisotsu-2.0
drumath2237
0
60
軽率にAndroidXRのJetpack SceneCoreを使って3Dモデルを表示してみる / androidxr-scenecore-3dmodels
drumath2237
0
140
あなたの知らないWebXR Device APIの話を軽率に / about-webxr-device-api-you-dont-know
drumath2237
0
72
UnJSを使って軽率にCLIを作ってみたらめちゃくちゃ便利だった / create CLI with UnJS
drumath2237
4
1.7k
Other Decks in Technology
See All in Technology
あなたの知らない Linuxカーネル脆弱性の世界
recruitengineers
PRO
3
130
名刺メーカーDevグループ 紹介資料
sansan33
PRO
0
940
だいたい分かった気になる 『SREの知識地図』 / introduction-to-sre-knowledge-map-book
katsuhisa91
PRO
3
1.2k
Kubernetes self-healing of your workload
hwchiu
0
350
[OCI Skill Mapping] AWSユーザーのためのOCI – IaaS編(Compute/Storage/Networking) (2025年10月8日開催)
oracle4engineer
PRO
1
180
Claude Code Subagents 再入門 ~cc-sddの実装で学んだこと~
gotalab555
10
17k
難しいセキュリティ用語をわかりやすくしてみた
yuta3110
0
360
クラウドとリアルの融合により、製造業はどう変わるのか?〜クラスメソッドの製造業への取組と共に〜
hamadakoji
0
350
Introduction to Bill One Development Engineer
sansan33
PRO
0
300
GraphRAG グラフDBを使ったLLM生成(自作漫画DBを用いた具体例を用いて)
seaturt1e
1
100
Databricks AI/BI Genie の「値ディクショナリー」をAmazonの奥地(S3)まで見に行く
kameitomohiro
1
380
ソフトウェアエンジニアの生成AI活用と、これから
lycorptech_jp
PRO
0
820
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
GraphQLの誤解/rethinking-graphql
sonatard
73
11k
The Cult of Friendly URLs
andyhume
79
6.6k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.2k
Facilitating Awesome Meetings
lara
57
6.6k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
61k
Leading Effective Engineering Teams in the AI Era
addyosmani
7
570
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
The Illustrated Children's Guide to Kubernetes
chrisshort
49
51k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
Transcript
フォークギター with VFXの 制作を軽率に振り返ろう! にー兄さん@ninisan_drumath PerformersFestこだわり解説感想戦
アジェンダ - はじめに - フォークギター with VFXの概要 - 制作について -
VFX Graphのこだわり - おわりに
はじめに
にー兄さん(@ninisan_drumath) ソフトウェアエンジニア “Babylon.jsとWebXR Device APIの宣教師” 株式会社ホロラボ Babylon.js勉強会運営 Iwaken Lab. Microsoft
MVP for Developer Technologies
本日のお話 2025/3/25のIwakenLab Performers Festで披露した フォークギター with VFXの制作について - どんなことを考えて -
どんなツールを使って - どんなものを作ったのか 本日のゴール: - お客さんやラボメンに演出のこだわりについて知ってもらう - Unity VFX Graphええやん!って思ってもらう - 自分がインタラクティブなクリエイティブについて言語化して整理する
フォークギター with VFX の概要
オーディオリアクティブな動点群ビジュアルエフェクト これまでKinectを使ったVFXをいくつか制作 →その流れで今回お誘い フェスということで音楽と組み合わせよう →自分が好きなフォークギターで
パフォーマンス風景
使用技術 - Azure Kinect (Sensor SDK) - Unity 6000.0.42 -
HDRP - VFX Graph - Cinemachine
Unityプロジェクト GitHubに公開しています(AzureKinectがないと動かないですが) https://github.com/drumath2237/PerformersFes2025
機材構成 センサリング対象は人とギター 演奏してる手前にAzureKinect を配置 ギターはマイク録り(エレアコではない) 後ろのスクリーンに投影
処理フロー センサリングや演出のシステムはUnity フォークギターの音を取得 AzureKinectからデータを取得 Unityで演出を加えてレンダリング 全画面ビルドしたアプリ画面を スクリーンに投影
AzureKinectとは Microsoftが製品開発するカメラデバイス カラーは720p~4Kまで Depth画像の取得も可能 IMUもついてるので加速度もとれる Body-Trackingもできる 9つのマイクアレイも搭載 使うと楽しくなるおもちゃ!
Depth画像 深度画像と呼ばれる カメラからの距離を画素で 示したもの ToFセンサによって取得可能 他にIntel RealSenseとか https://lightbuzz.com/azure-kinect-masterclass-depth/
制作について
制作進行 GitHub Projectsを使ってissue管理
ベロシティ 直前から初めて前々日から加速するのはやめよう!
VFX Graphのこだわり
制作の方針 - あまりコードを書かない - 演出処理の過度な共通化を避ける
演出の実装スピードを重視 見た目が大事な制作において 見た目のFBループを早くすることが大事 C#のコンパイル時間がもったいないので Scriptによる演出制御はなるべく避けた →インスペクタなどからシーン再生中にリアルタイムに設定値変更 処理の共通化はばらすのが大変 →スクラップアンドビルドしやすくしたい
なるべくポチポチ変更で対応する Unityのクリエイティブツールを使っていく VFX Graph! Cinemachineも導入してよかった
VFX Graph GPUベースでリッチなビジュアルエフェクトを作れる ノードベースツール 炎・煙・魔法・爆発などをリアルタイムで制御&表現可能 https://unity.com/ja/features/visual-effect-graph
(本資料は作りかけです)
続きはFigJam
None