Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
VRMアバターでギターの弾き語りがしたい!! 『Vフレット』の開発で考えたこと
Search
nkjzm
November 12, 2022
Technology
0
490
VRMアバターでギターの弾き語りがしたい!! 『Vフレット』の開発で考えたこと
xR with Anything Meetup #017 にて発表したスライドです。
https://xram.connpass.com/event/256700/
nkjzm
November 12, 2022
Tweet
Share
More Decks by nkjzm
See All by nkjzm
個人iOSアプリ開発で使っているClaude Code Hooksの紹介
nkjzm
0
200
アバター配信アプリ『Vフレット』 でVRM 1.0対応をしてみる
nkjzm
1
240
『ALTDEUS: Beyond Chronos』で物語に没入できる操作感を実現するマルチプラットフォーム対応の道のり / The path to multi-platform support for immersive storytelling in ALTDEUS: Beyond Chronos
nkjzm
0
340
『ALTDEUS: Beyond Chronos』におけるマルチプラットフォーム向けコントローラーの対応 / Support for multi-platform controllers in "ALTDEUS: Beyond Chronos
nkjzm
0
420
Unityで使える汎用的な ハンバーガーメニューの実装 / UniHamburger
nkjzm
3
1.4k
20時間超の物語をVRで!『ALTDEUS: Beyond Chronos』の制作を支えた”Uranus”の制作過程と機能紹介 [CEDEC2021] / Introduction of ALTDEUS' VR ADV tool "Uranus", CEDEC2021
nkjzm
1
2.5k
withコロナに見るXR業界のイマ! [CEDEC2021] / XR NOW CEDEC2021
nkjzm
3
1.8k
VRプロダクト開発ラウンドテーブル2021
nkjzm
0
1.5k
Unityでチャットに使えるモバイルキーボードの実現
nkjzm
2
5.6k
Other Decks in Technology
See All in Technology
PyCon JP 2025 DAY1 「Hello, satellite data! ~Pythonではじめる衛星データ解析~」
ra0kley
0
730
RailsのPostgreSQL 18対応
yahonda
0
1.2k
BirdCLEF+2025 Noir 5位解法紹介
myso
0
150
Optuna DashboardにおけるPLaMo2連携機能の紹介 / PFN LLM セミナー
pfn
PRO
1
660
日経が挑戦するデータ民主化 ~ セルフサービス基盤がもたらす利点と苦悩~/nikkei-tech-talk-37
nikkei_engineer_recruiting
0
210
AIを導⼊しても、 開発⽣産性は"爆増"していない なぜ?
kinosuke01
4
3.6k
自作LLM Native GORM Pluginで実現する AI Agentバックテスト基盤構築
po3rin
2
210
WebアプリケーションのUI構築で気を付けてるポイント
tomokusaba
0
160
今改めてServiceクラスについて考える 〜あるRails開発者の10年〜
joker1007
20
9k
非エンジニアのあなたもできる&もうやってる!コンテキストエンジニアリング
findy_eventslides
3
840
Goのビルドシステムの変遷 / The history of Go's build system
ymotongpoo
12
3.4k
Flaky Testへの現実解をGoのプロポーザルから考える | Go Conference 2025
upamune
1
290
Featured
See All Featured
How GitHub (no longer) Works
holman
315
140k
A better future with KSS
kneath
239
17k
Scaling GitHub
holman
463
140k
Git: the NoSQL Database
bkeepers
PRO
431
66k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
2.6k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
30
9.7k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
Speed Design
sergeychernyshev
32
1.1k
Writing Fast Ruby
sferik
629
62k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
Raft: Consensus for Rubyists
vanstee
139
7.1k
Code Reviewing Like a Champion
maltzj
525
40k
Transcript
『Vフレット』の開発で考えたこと 2022/11/12 xR with Anything Meetup #017 VRMアバターでギターの弾き語りがしたい!!
Nakaji Kohki / なかじ MyDearest株式会社 (ディスクロニア: CA, #アルトデウス: BC) ・日本VR学会認定
上級VR技術者 ・Podcast『xR.fm』のパーソナリティ ・エンジニア系勉強会のオーガナイザー Twitter: @nkjzm Unity / VR Engineer
今日お話する内容 開発している『 』というアプリの話
今日お話する内容 開発している『 』というアプリの話 技術的な話よりは • コンセプト • 実際に作ってみて大変だったこと を中心にお話します
きっかけ https://www.youtube.com/watch?v=bFBoJiVQgN0 https://www.youtube.com/watch?v=4qd955ziUuQ
僕も弾き語り配信をしたりします
準備するのが 面倒くさい時がある
アバターを使えばいいってこと?!
アバターでも 弾き語りがしたい!! …と思ったのがきっかけ
アバターで弾き語りをするメリット • 顔を出さなくていい ◦ → メイクなどの身支度をしなくても配信できる • 自分のアバターが使える ◦ →
アバターを使った表現活動にも活用できる • カメラワークに凝れる ◦ → 現実世界じゃなくて3D空間上なので
どういうアプリにしようか 既に似たようなことをやっている人がいないか調べてみた • 止絵・イラスト • アバターのバストアップ • VRChatでフルトラしてやっている人 ◦ →
コントローラーを持っているとギターが握れない • Webカメラで上半身のトラッキング ◦ →ギターでトラッキングしづらい ◦ →弾いてる感があんまりでない
いろいろ見てみた結果 きちんとトラッキングするのは大変そうだから、 ”それっぽい映像を作ること” に割り切ってみることに!
ギターの弾き方 左手:フレットを抑えて鳴らす音を決める 右手:弦をストロークして音を鳴らす
右手と左手をギターに沿って動かせば それっぽくなるかも!?
Unityで 試してみた • 作業時間は40分くらい • この方法だと、 カメラもトラッカーも 使わなくていい!!!
コンセプト 1. 気軽にできる 2. それっぽいクオリティの高い映像が作れる
色々考えてできたものを実演してみます 注目してほしいこと:コンセプトが実現できているか 1. 気軽にできる → アプリ開始から1分で配信開始までを実演します! 2. それっぽいクオリティの高い映像が作れる → 実際に弾き語りをするので、映像をみて”それっぽく”なっているか
成功したらリアクション機能で👏をお願いします! (もし失敗してもぜひお願いします!w)
デモ
ライブ配信以外に「事前収録」にも対応 イメージしている流れ 1. ギターの弾き語りの音声を収録する 2. Vフレットを起動し、収録した音声に合わせてカメラワークを切り替え 3. Vフレットの映像を保存(OBSなどで) → よりクオリティの高い弾き語り動画/歌ってみた動画にも使える!
→ 音源があればギターが弾けない人でも使える!
個人開発している『Vフレット』の紹介
Vフレットの今後について 年内にベータ版を配布予定です! VフレットのTwitterアカウント(@vfret_app)や、 Discordコミュニティ内で告知等をする予定なので是非フォローしてください! 公式サイトに情報がまとまっています! https://nkjzm.jp/vfret
作ってて思ったこと • アバターで色々できるの楽しい! https://nkjzm.jp/vfret
作ってて思ったこと • アバターで色々できるの楽しい!
開発に協力してくれている人の紹介
ぜひTwitterのフォローお願いします!! ありがとうございました!! @nkjzm @vfret_app
None