Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
VRMアバターでギターの弾き語りがしたい!! 『Vフレット』の開発で考えたこと
Search
Nakaji Kohki
November 12, 2022
Technology
0
480
VRMアバターでギターの弾き語りがしたい!! 『Vフレット』の開発で考えたこと
xR with Anything Meetup #017 にて発表したスライドです。
https://xram.connpass.com/event/256700/
Nakaji Kohki
November 12, 2022
Tweet
Share
More Decks by Nakaji Kohki
See All by Nakaji Kohki
アバター配信アプリ『Vフレット』 でVRM 1.0対応をしてみる
nkjzm
1
220
『ALTDEUS: Beyond Chronos』で物語に没入できる操作感を実現するマルチプラットフォーム対応の道のり / The path to multi-platform support for immersive storytelling in ALTDEUS: Beyond Chronos
nkjzm
0
340
『ALTDEUS: Beyond Chronos』におけるマルチプラットフォーム向けコントローラーの対応 / Support for multi-platform controllers in "ALTDEUS: Beyond Chronos
nkjzm
0
420
Unityで使える汎用的な ハンバーガーメニューの実装 / UniHamburger
nkjzm
3
1.3k
20時間超の物語をVRで!『ALTDEUS: Beyond Chronos』の制作を支えた”Uranus”の制作過程と機能紹介 [CEDEC2021] / Introduction of ALTDEUS' VR ADV tool "Uranus", CEDEC2021
nkjzm
1
2.5k
withコロナに見るXR業界のイマ! [CEDEC2021] / XR NOW CEDEC2021
nkjzm
3
1.8k
VRプロダクト開発ラウンドテーブル2021
nkjzm
0
1.4k
Unityでチャットに使えるモバイルキーボードの実現
nkjzm
2
5.4k
Notionで人生を公開している話
nkjzm
0
1k
Other Decks in Technology
See All in Technology
解消したはずが…技術と人間のエラーが交錯する恐怖体験
lamaglama39
0
190
AWS re:Inforce 2025 re:Cap Update Pickup & AWS Control Tower の運用における考慮ポイント
htan
1
200
AIに目を奪われすぎて、周りの困っている人間が見えなくなっていませんか?
cap120
1
430
Google Cloud で学ぶデータエンジニアリング入門 2025年版 #GoogleCloudNext / 20250805
kazaneya
PRO
11
2.7k
Vision Language Modelと自動運転AIの最前線_20250730
yuyamaguchi
3
1.1k
生成AI時代におけるAI・機械学習技術を用いたプロダクト開発の深化と進化 #BetAIDay
layerx
PRO
1
1k
大規模イベントに向けた ABEMA アーキテクチャの遍歴 ~ Platform Strategy 詳細解説 ~
nagapad
0
190
私とAWSとの関わりの歩み~意志あるところに道は開けるかも?~
nagisa53
1
160
Google Agentspaceを実際に導入した効果と今後の展望
mixi_engineers
PRO
2
330
LLMをツールからプラットフォームへ〜Ai Workforceの戦略〜 #BetAIDay
layerx
PRO
1
850
✨敗北解法コレクション✨〜Expertだった頃に足りなかった知識と技術〜
nanachi
1
410
VLMサービスを用いた請求書データ化検証 / SaaSxML_Session_1
sansan_randd
0
210
Featured
See All Featured
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
Agile that works and the tools we love
rasmusluckow
329
21k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Writing Fast Ruby
sferik
628
62k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
The Invisible Side of Design
smashingmag
301
51k
Docker and Python
trallard
45
3.5k
Statistics for Hackers
jakevdp
799
220k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Transcript
『Vフレット』の開発で考えたこと 2022/11/12 xR with Anything Meetup #017 VRMアバターでギターの弾き語りがしたい!!
Nakaji Kohki / なかじ MyDearest株式会社 (ディスクロニア: CA, #アルトデウス: BC) ・日本VR学会認定
上級VR技術者 ・Podcast『xR.fm』のパーソナリティ ・エンジニア系勉強会のオーガナイザー Twitter: @nkjzm Unity / VR Engineer
今日お話する内容 開発している『 』というアプリの話
今日お話する内容 開発している『 』というアプリの話 技術的な話よりは • コンセプト • 実際に作ってみて大変だったこと を中心にお話します
きっかけ https://www.youtube.com/watch?v=bFBoJiVQgN0 https://www.youtube.com/watch?v=4qd955ziUuQ
僕も弾き語り配信をしたりします
準備するのが 面倒くさい時がある
アバターを使えばいいってこと?!
アバターでも 弾き語りがしたい!! …と思ったのがきっかけ
アバターで弾き語りをするメリット • 顔を出さなくていい ◦ → メイクなどの身支度をしなくても配信できる • 自分のアバターが使える ◦ →
アバターを使った表現活動にも活用できる • カメラワークに凝れる ◦ → 現実世界じゃなくて3D空間上なので
どういうアプリにしようか 既に似たようなことをやっている人がいないか調べてみた • 止絵・イラスト • アバターのバストアップ • VRChatでフルトラしてやっている人 ◦ →
コントローラーを持っているとギターが握れない • Webカメラで上半身のトラッキング ◦ →ギターでトラッキングしづらい ◦ →弾いてる感があんまりでない
いろいろ見てみた結果 きちんとトラッキングするのは大変そうだから、 ”それっぽい映像を作ること” に割り切ってみることに!
ギターの弾き方 左手:フレットを抑えて鳴らす音を決める 右手:弦をストロークして音を鳴らす
右手と左手をギターに沿って動かせば それっぽくなるかも!?
Unityで 試してみた • 作業時間は40分くらい • この方法だと、 カメラもトラッカーも 使わなくていい!!!
コンセプト 1. 気軽にできる 2. それっぽいクオリティの高い映像が作れる
色々考えてできたものを実演してみます 注目してほしいこと:コンセプトが実現できているか 1. 気軽にできる → アプリ開始から1分で配信開始までを実演します! 2. それっぽいクオリティの高い映像が作れる → 実際に弾き語りをするので、映像をみて”それっぽく”なっているか
成功したらリアクション機能で👏をお願いします! (もし失敗してもぜひお願いします!w)
デモ
ライブ配信以外に「事前収録」にも対応 イメージしている流れ 1. ギターの弾き語りの音声を収録する 2. Vフレットを起動し、収録した音声に合わせてカメラワークを切り替え 3. Vフレットの映像を保存(OBSなどで) → よりクオリティの高い弾き語り動画/歌ってみた動画にも使える!
→ 音源があればギターが弾けない人でも使える!
個人開発している『Vフレット』の紹介
Vフレットの今後について 年内にベータ版を配布予定です! VフレットのTwitterアカウント(@vfret_app)や、 Discordコミュニティ内で告知等をする予定なので是非フォローしてください! 公式サイトに情報がまとまっています! https://nkjzm.jp/vfret
作ってて思ったこと • アバターで色々できるの楽しい! https://nkjzm.jp/vfret
作ってて思ったこと • アバターで色々できるの楽しい!
開発に協力してくれている人の紹介
ぜひTwitterのフォローお願いします!! ありがとうございました!! @nkjzm @vfret_app
None