Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
VRMアバターでギターの弾き語りがしたい!! 『Vフレット』の開発で考えたこと
Search
Nakaji Kohki
November 12, 2022
Technology
0
450
VRMアバターでギターの弾き語りがしたい!! 『Vフレット』の開発で考えたこと
xR with Anything Meetup #017 にて発表したスライドです。
https://xram.connpass.com/event/256700/
Nakaji Kohki
November 12, 2022
Tweet
Share
More Decks by Nakaji Kohki
See All by Nakaji Kohki
アバター配信アプリ『Vフレット』 でVRM 1.0対応をしてみる
nkjzm
1
190
『ALTDEUS: Beyond Chronos』で物語に没入できる操作感を実現するマルチプラットフォーム対応の道のり / The path to multi-platform support for immersive storytelling in ALTDEUS: Beyond Chronos
nkjzm
0
330
『ALTDEUS: Beyond Chronos』におけるマルチプラットフォーム向けコントローラーの対応 / Support for multi-platform controllers in "ALTDEUS: Beyond Chronos
nkjzm
0
410
Unityで使える汎用的な ハンバーガーメニューの実装 / UniHamburger
nkjzm
3
1.3k
20時間超の物語をVRで!『ALTDEUS: Beyond Chronos』の制作を支えた”Uranus”の制作過程と機能紹介 [CEDEC2021] / Introduction of ALTDEUS' VR ADV tool "Uranus", CEDEC2021
nkjzm
1
2.4k
withコロナに見るXR業界のイマ! [CEDEC2021] / XR NOW CEDEC2021
nkjzm
3
1.8k
VRプロダクト開発ラウンドテーブル2021
nkjzm
0
1.4k
Unityでチャットに使えるモバイルキーボードの実現
nkjzm
2
5.3k
Notionで人生を公開している話
nkjzm
0
1k
Other Decks in Technology
See All in Technology
AIオンボーディングとAIプロセスマイニング
nrryuya
5
1.3k
FastMCPでSQLをチェックしてくれるMCPサーバーを自作してCursorから動かしてみた
nayuts
1
200
AIエージェントデザインパターンの選び方
almondo_event
0
140
S3 Tables を図解でやさしくおさらい~基本から QuickSight 連携まで/s3-tables-illustrated-basics-quicksight
emiki
1
330
[zh-TW] DevOpsDays Taipei 2025 -- Creating Awesome Change in SmartNews!(machine translation)
martin_lover
1
640
“⾞が通れるほど⼤きな”セキュリティーホールを抑えながらログインしたい
taiseiue
0
160
やさしいClaude Code入門
minorun365
PRO
31
23k
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
2
7.2k
mnt_data_とは?ChatGPTコード実行環境を深堀りしてみた
icck
0
210
GigaViewerにおけるMackerel APM導入の裏側
7474
0
460
Digitization部 紹介資料
sansan33
PRO
1
3.8k
技術書典18結果報告
mutsumix
2
180
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
42
7.5k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
106
19k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Six Lessons from altMBA
skipperchong
28
3.8k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Building Adaptive Systems
keathley
41
2.6k
Building Applications with DynamoDB
mza
95
6.4k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
12k
BBQ
matthewcrist
88
9.7k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
47
2.8k
Bash Introduction
62gerente
614
210k
Transcript
『Vフレット』の開発で考えたこと 2022/11/12 xR with Anything Meetup #017 VRMアバターでギターの弾き語りがしたい!!
Nakaji Kohki / なかじ MyDearest株式会社 (ディスクロニア: CA, #アルトデウス: BC) ・日本VR学会認定
上級VR技術者 ・Podcast『xR.fm』のパーソナリティ ・エンジニア系勉強会のオーガナイザー Twitter: @nkjzm Unity / VR Engineer
今日お話する内容 開発している『 』というアプリの話
今日お話する内容 開発している『 』というアプリの話 技術的な話よりは • コンセプト • 実際に作ってみて大変だったこと を中心にお話します
きっかけ https://www.youtube.com/watch?v=bFBoJiVQgN0 https://www.youtube.com/watch?v=4qd955ziUuQ
僕も弾き語り配信をしたりします
準備するのが 面倒くさい時がある
アバターを使えばいいってこと?!
アバターでも 弾き語りがしたい!! …と思ったのがきっかけ
アバターで弾き語りをするメリット • 顔を出さなくていい ◦ → メイクなどの身支度をしなくても配信できる • 自分のアバターが使える ◦ →
アバターを使った表現活動にも活用できる • カメラワークに凝れる ◦ → 現実世界じゃなくて3D空間上なので
どういうアプリにしようか 既に似たようなことをやっている人がいないか調べてみた • 止絵・イラスト • アバターのバストアップ • VRChatでフルトラしてやっている人 ◦ →
コントローラーを持っているとギターが握れない • Webカメラで上半身のトラッキング ◦ →ギターでトラッキングしづらい ◦ →弾いてる感があんまりでない
いろいろ見てみた結果 きちんとトラッキングするのは大変そうだから、 ”それっぽい映像を作ること” に割り切ってみることに!
ギターの弾き方 左手:フレットを抑えて鳴らす音を決める 右手:弦をストロークして音を鳴らす
右手と左手をギターに沿って動かせば それっぽくなるかも!?
Unityで 試してみた • 作業時間は40分くらい • この方法だと、 カメラもトラッカーも 使わなくていい!!!
コンセプト 1. 気軽にできる 2. それっぽいクオリティの高い映像が作れる
色々考えてできたものを実演してみます 注目してほしいこと:コンセプトが実現できているか 1. 気軽にできる → アプリ開始から1分で配信開始までを実演します! 2. それっぽいクオリティの高い映像が作れる → 実際に弾き語りをするので、映像をみて”それっぽく”なっているか
成功したらリアクション機能で👏をお願いします! (もし失敗してもぜひお願いします!w)
デモ
ライブ配信以外に「事前収録」にも対応 イメージしている流れ 1. ギターの弾き語りの音声を収録する 2. Vフレットを起動し、収録した音声に合わせてカメラワークを切り替え 3. Vフレットの映像を保存(OBSなどで) → よりクオリティの高い弾き語り動画/歌ってみた動画にも使える!
→ 音源があればギターが弾けない人でも使える!
個人開発している『Vフレット』の紹介
Vフレットの今後について 年内にベータ版を配布予定です! VフレットのTwitterアカウント(@vfret_app)や、 Discordコミュニティ内で告知等をする予定なので是非フォローしてください! 公式サイトに情報がまとまっています! https://nkjzm.jp/vfret
作ってて思ったこと • アバターで色々できるの楽しい! https://nkjzm.jp/vfret
作ってて思ったこと • アバターで色々できるの楽しい!
開発に協力してくれている人の紹介
ぜひTwitterのフォローお願いします!! ありがとうございました!! @nkjzm @vfret_app
None