Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
VRMアバターでギターの弾き語りがしたい!! 『Vフレット』の開発で考えたこと
Search
nkjzm
November 12, 2022
Technology
0
490
VRMアバターでギターの弾き語りがしたい!! 『Vフレット』の開発で考えたこと
xR with Anything Meetup #017 にて発表したスライドです。
https://xram.connpass.com/event/256700/
nkjzm
November 12, 2022
Tweet
Share
More Decks by nkjzm
See All by nkjzm
個人iOSアプリ開発で使っているClaude Code Hooksの紹介
nkjzm
0
250
アバター配信アプリ『Vフレット』 でVRM 1.0対応をしてみる
nkjzm
1
250
『ALTDEUS: Beyond Chronos』で物語に没入できる操作感を実現するマルチプラットフォーム対応の道のり / The path to multi-platform support for immersive storytelling in ALTDEUS: Beyond Chronos
nkjzm
0
350
『ALTDEUS: Beyond Chronos』におけるマルチプラットフォーム向けコントローラーの対応 / Support for multi-platform controllers in "ALTDEUS: Beyond Chronos
nkjzm
0
420
Unityで使える汎用的な ハンバーガーメニューの実装 / UniHamburger
nkjzm
3
1.4k
20時間超の物語をVRで!『ALTDEUS: Beyond Chronos』の制作を支えた”Uranus”の制作過程と機能紹介 [CEDEC2021] / Introduction of ALTDEUS' VR ADV tool "Uranus", CEDEC2021
nkjzm
1
2.5k
withコロナに見るXR業界のイマ! [CEDEC2021] / XR NOW CEDEC2021
nkjzm
3
1.8k
VRプロダクト開発ラウンドテーブル2021
nkjzm
0
1.5k
Unityでチャットに使えるモバイルキーボードの実現
nkjzm
2
5.6k
Other Decks in Technology
See All in Technology
Claude Codeを駆使した初めてのiOSアプリ開発 ~ゼロから3週間でグローバルハッカソンで入賞するまで~
oikon48
10
5.3k
難しいセキュリティ用語をわかりやすくしてみた
yuta3110
0
360
会社を支える Pythonという言語戦略 ~なぜPythonを主要言語にしているのか?~
curekoshimizu
1
270
Copilot Studio ハンズオン - 生成オーケストレーションモード
tomoyasasakimskk
0
190
ソフトウェアエンジニアの生成AI活用と、これから
lycorptech_jp
PRO
0
790
Okta Identity Governanceで実現する最小権限の原則 / Implementing the Principle of Least Privilege with Okta Identity Governance
tatsumin39
0
150
Node.js 2025: What's new and what's next
ruyadorno
0
900
[2025年10月版] Databricks Data + AI Boot Camp
databricksjapan
1
240
Bill One 開発エンジニア 紹介資料
sansan33
PRO
4
14k
エンタメとAIのための3Dパラレルワールド構築(GPU UNITE 2025 特別講演)
pfn
PRO
0
620
Sansan Engineering Unit 紹介資料
sansan33
PRO
1
3k
LLMプロダクトの信頼性を上げるには?LLM Observabilityによる、対話型音声AIアプリケーションの安定運用
ivry_presentationmaterials
0
750
Featured
See All Featured
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.2k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
Building a Scalable Design System with Sketch
lauravandoore
463
33k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
36
6.1k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
Code Reviewing Like a Champion
maltzj
526
40k
A designer walks into a library…
pauljervisheath
209
24k
Designing Experiences People Love
moore
142
24k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.6k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.6k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
990
Transcript
『Vフレット』の開発で考えたこと 2022/11/12 xR with Anything Meetup #017 VRMアバターでギターの弾き語りがしたい!!
Nakaji Kohki / なかじ MyDearest株式会社 (ディスクロニア: CA, #アルトデウス: BC) ・日本VR学会認定
上級VR技術者 ・Podcast『xR.fm』のパーソナリティ ・エンジニア系勉強会のオーガナイザー Twitter: @nkjzm Unity / VR Engineer
今日お話する内容 開発している『 』というアプリの話
今日お話する内容 開発している『 』というアプリの話 技術的な話よりは • コンセプト • 実際に作ってみて大変だったこと を中心にお話します
きっかけ https://www.youtube.com/watch?v=bFBoJiVQgN0 https://www.youtube.com/watch?v=4qd955ziUuQ
僕も弾き語り配信をしたりします
準備するのが 面倒くさい時がある
アバターを使えばいいってこと?!
アバターでも 弾き語りがしたい!! …と思ったのがきっかけ
アバターで弾き語りをするメリット • 顔を出さなくていい ◦ → メイクなどの身支度をしなくても配信できる • 自分のアバターが使える ◦ →
アバターを使った表現活動にも活用できる • カメラワークに凝れる ◦ → 現実世界じゃなくて3D空間上なので
どういうアプリにしようか 既に似たようなことをやっている人がいないか調べてみた • 止絵・イラスト • アバターのバストアップ • VRChatでフルトラしてやっている人 ◦ →
コントローラーを持っているとギターが握れない • Webカメラで上半身のトラッキング ◦ →ギターでトラッキングしづらい ◦ →弾いてる感があんまりでない
いろいろ見てみた結果 きちんとトラッキングするのは大変そうだから、 ”それっぽい映像を作ること” に割り切ってみることに!
ギターの弾き方 左手:フレットを抑えて鳴らす音を決める 右手:弦をストロークして音を鳴らす
右手と左手をギターに沿って動かせば それっぽくなるかも!?
Unityで 試してみた • 作業時間は40分くらい • この方法だと、 カメラもトラッカーも 使わなくていい!!!
コンセプト 1. 気軽にできる 2. それっぽいクオリティの高い映像が作れる
色々考えてできたものを実演してみます 注目してほしいこと:コンセプトが実現できているか 1. 気軽にできる → アプリ開始から1分で配信開始までを実演します! 2. それっぽいクオリティの高い映像が作れる → 実際に弾き語りをするので、映像をみて”それっぽく”なっているか
成功したらリアクション機能で👏をお願いします! (もし失敗してもぜひお願いします!w)
デモ
ライブ配信以外に「事前収録」にも対応 イメージしている流れ 1. ギターの弾き語りの音声を収録する 2. Vフレットを起動し、収録した音声に合わせてカメラワークを切り替え 3. Vフレットの映像を保存(OBSなどで) → よりクオリティの高い弾き語り動画/歌ってみた動画にも使える!
→ 音源があればギターが弾けない人でも使える!
個人開発している『Vフレット』の紹介
Vフレットの今後について 年内にベータ版を配布予定です! VフレットのTwitterアカウント(@vfret_app)や、 Discordコミュニティ内で告知等をする予定なので是非フォローしてください! 公式サイトに情報がまとまっています! https://nkjzm.jp/vfret
作ってて思ったこと • アバターで色々できるの楽しい! https://nkjzm.jp/vfret
作ってて思ったこと • アバターで色々できるの楽しい!
開発に協力してくれている人の紹介
ぜひTwitterのフォローお願いします!! ありがとうございました!! @nkjzm @vfret_app
None