Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
機械学習で無音サックスを作ろうとしたら音響特性とレイテンシに明るくなった話
Search
nayopu
October 19, 2022
Technology
1
350
機械学習で無音サックスを作ろうとしたら音響特性とレイテンシに明るくなった話
Music×Analytics Meetup Vol.9 LT
https://muana.connpass.com/event/259360/
nayopu
October 19, 2022
Tweet
Share
Other Decks in Technology
See All in Technology
o1のAPIで実験してみたが 制限きつすぎて辛かった話
pharma_x_tech
0
210
ついに出た!OpenAIの最新モデル「o1」って何がすごいの?
minorun365
PRO
3
1.2k
【株式会社ELYZA】|GENIAC成果報告会 自社開発モデルプレゼンテーション
elyza
1
310
どこよりも遅めなWinActor Ver.7.5.0 新機能紹介
tamai_63
0
210
Classmethod AI Talks(CATs) #1 司会進行スライド(2024.09.19) / classmethod-ai-talks-aka-cats_moderator-slides_vol1_2024-09-19
shinyaa31
0
120
Cloud Run と GitHub Template Repository による軽量なアプリケーションプラットフォーム/ #nikkei_tech_talk
nikkei_engineer_recruiting
0
110
たった1人からはじめる【Agile Community of Practice】~ソース原理とFearless Changeを添えて~
ktc_corporate_it
1
500
言葉は感情の近似値である。その感情と言葉の誤差を最小化しよう ~コミュニケーションにおけるアナログ/デジタル変換の課題に立ち向かう~
nktamago
0
230
持続可能なソフトウェア開発を支える『GitHub CI/CD実践ガイド』
tmknom
8
1.4k
Road to Single Activity
yurihondo
2
240
技術的負債解消の取り組みと専門チームのお話
bengo4com
0
340
グイグイ系QAマネージャーの仕事
sadonosake
0
350
Featured
See All Featured
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
41
6.5k
Facilitating Awesome Meetings
lara
49
6k
GitHub's CSS Performance
jonrohan
1030
450k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
36
1.7k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
123
18k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Atom: Resistance is Futile
akmur
261
25k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
Creatively Recalculating Your Daily Design Routine
revolveconf
215
12k
BBQ
matthewcrist
83
9.2k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
45
4.8k
Large-scale JavaScript Application Architecture
addyosmani
508
110k
Transcript
© nayopu 2022. All rights reserved. @nayopu3 C nayopu 機械学習で無音サックスを作ろうとしたら
音響特性とレイテンシに明るくなった話 #muana 2022.10.19
2 © nayopu 2022. All rights reserved. 自己紹介
3 © nayopu 2022. All rights reserved. 内容 家でサックスを練習したい レイテンシと呼ばれる沼へ
木管楽器の音響の造詣の浅さでつまづく 機械学習の採用 無音サックスの完成(?)
4 © nayopu 2022. All rights reserved. 家でサックスを練習したい
5 © nayopu 2022. All rights reserved. 55 dB ≫
~ 100 dB 木管楽器の音量 住環境の騒音レベル 家でサックスを練習したい [1] Gavin King, Marek Roland-Mieszkowski, Timothy Jason, and Daniel Rainham.2012. Noise Levels Associated with Urban Land Use.Journal of urban health :bulletin of the New York Academy of Medicine89 (06 2012).
6 © nayopu 2022. All rights reserved. 家でサックスを練習したい アプローチ3. ローランド/ウィンドシンセサイザー
¥85,800 アプローチ2. ベストブラス/イーサックス ¥52,500 どれもいまいち…🤔 → やっぱり本物のサックスで演奏したい アプローチ1. Dilwe/サックスサイレンサー ¥1,408
7 © nayopu 2022. All rights reserved. 家でサックスを練習したい アプローチ4. キー全部にスイッチつける
¥? → 非侵襲的にやりたい https://twitter.com/nayopu3/status/1218865654234632198?s=20
8 © nayopu 2022. All rights reserved. 家でサックスを練習したい アプローチ5.(今日の話) 小さなホワイトノイズをマウスピースから流して応答音の周波数特定から運指をリアルタイム推定
9 © nayopu 2022. All rights reserved. レイテンシと呼ばれる沼へ
10 © nayopu 2022. All rights reserved. レイテンシと呼ばれる沼へ レイテンシと運指推定精度のトレードオフ •
運指変更から運指出力までの時間差(レイテンシ) > フーリエ変換の時間窓ΔT • 小さなΔTは粗い周波数分解能をΔfにつながり、運指の推定精度が下がりそう → 許容されるレイテンシ一杯の時間窓を使って推定したい
11 © nayopu 2022. All rights reserved. レイテンシと呼ばれる沼へ サーベイ論文を読む Lago,
Nelson Posse, and Fabio Kon. "The quest for low latency." ICMC. 2004. 許容されるレイテンシ = ケースバイケース。 • 人間の聴覚は視覚よりも高い時間精度を持っており、少なくとも4ms程度の変動は知覚、コントロールできる。 • 異なる種類の二つの刺激(例えば、視覚と聴覚、あるいは、視覚と聴覚と聴覚など)が関与する時間精度 は同じ種類の二つの刺激の時間精度よりも低い。 • 人は異なるフィードバック遅延に対して自身の動作を適応させる能力があり、大きな遅延が許容されることも。 – ピアノ演奏において、鍵盤を押してから対応する音が出るまでの経過時間は、ピアノ音で100ms程度、 スタッカート、フォルテ音で30ms程度で、待ち時間がダイナミックレベルによって異なる。 – 人の運動システムは瞬時に反応することができないため、「時間通り」に動作するためには前もって運動 命令を出す必要がある。 – 人は動作に対するフィードバック遅延の情報を、「どれだけ前もって命令を出すかを調整する」ために使っ ている可能性がある。 • 総じて一般の音楽アプリケーションにおいては,20-30ms 程度の遅延を許容することができる、らしい。
12 © nayopu 2022. All rights reserved. レイテンシと呼ばれる沼へ サーベイ論文を読む Lago,
Nelson Posse, and Fabio Kon. "The quest for low latency." ICMC. 2004. 許容されるレイテンシ = ケースバイケース。 • 人間の聴覚は視覚よりも高い時間精度を持っており、少なくとも4ms程度の変動は知覚、コントロールできる。 • 異なる種類の二つの刺激(例えば、視覚と聴覚)が関与する時間精度は同じ種類の二つの刺激の時間 精度よりも低い。 • 人は異なるフィードバック遅延に対して自身の動作を適応させる能力があり、大きな遅延が許容されることも。 – ピアノ演奏において、鍵盤を押してから対応する音が出るまでの経過時間は、pianoで100ms程度、 staccato、forte音で30ms程度で、待ち時間がダイナミックレベルによって異なる。 – 人の運動システムは瞬時に反応することができないため、「時間通り」に動作するためには前もって運動 命令を出す必要がある。 – 人は動作に対するフィードバック遅延の情報を、「どれだけ前もって命令を出すかを調整する」ために使っ ている可能性がある。 • 総じて一般の音楽アプリケーションにおいては,20-30ms 程度の遅延を許容することができる、らしい。
13 © nayopu 2022. All rights reserved. レイテンシと呼ばれる沼へ サーベイ論文を読む Lago,
Nelson Posse, and Fabio Kon. "The quest for low latency." ICMC. 2004. 許容されるレイテンシ = ケースバイケース。 • 人間の聴覚は視覚よりも高い時間精度を持っており、少なくとも4ms程度の変動は知覚、コントロールできる。 • 異なる種類の二つの刺激(例えば、視覚と聴覚)が関与する時間精度は同じ種類の二つの刺激の時間 精度よりも低い。 • 人は異なるフィードバック遅延に対して自身の動作を適応させる能力があり、大きな遅延が許容されることも。 – ピアノ演奏において、鍵盤を押してから対応する音が出るまでの経過時間は、pianoで100ms程度、 staccato、forte音で30ms程度で、待ち時間がダイナミックレベルによって異なる。 – 人の運動システムは瞬時に反応することができないため、「時間通り」に動作するためには前もって運動 命令を出す必要がある。 – 人は動作に対するフィードバック遅延の情報を、「どれだけ前もって命令を出すかを調整する」ために使っ ている可能性がある。 • 総じて一般の音楽アプリケーションにおいては,20-30ms 程度の遅延を許容することができる、らしい。
14 © nayopu 2022. All rights reserved. レイテンシと呼ばれる沼へ • サンプル時間20msecとすると,
周波数分解能Δ𝑓 = 1 20∗10−3 = 50 𝐻𝑧 • 音階間の周波数間隔は音域によって変わるが、低音域の間隔は~10hz • Δ𝑓 = 50𝐻𝑧 分解能 > 10𝐻𝑧 (音階間隔) • → 最大値を調べるだけではだめなのでハーモニーのパターンも活用する基本周波数推定手法 (SWIPE, YIN, WORLD)を使う。
15 © nayopu 2022. All rights reserved. 木管楽器の音響の造詣の浅さでつまづく
16 © nayopu 2022. All rights reserved. 木管楽器の音響の造詣の浅さでつまづく • 基本周波数推定手法の適用
→ オクターブ違いの推定エラーが頻発 (基本周波数は十分離れているはずなのになぜ…?) • サックスの音響特性ライブラリ[1]を見つける。 – オクターブキー (a.k.a. register key) の有無で基本周波数は変わらないことが判明 [1] http://newt.phys.unsw.edu.au/music/saxophone/ オクターブキー
17 © nayopu 2022. All rights reserved. 木管楽器の音響の造詣の浅さでつまづく • そもそもオクターブキーは何をしているのか。
– サックスは円錐で複雑なため、リコーダーの裏孔で説明。 • オクターブキー非押下 (サックス) • 親指で裏孔を完全に閉じる(リコーダー) …
18 © nayopu 2022. All rights reserved. 木管楽器の音響の造詣の浅さでつまづく • そもそもオクターブキーは何をしているのか。
– サックスは円錐で複雑なため、リコーダーの裏孔で説明。 • オクターブキー非押下 (サックス) • 親指で裏孔を完全に閉じる(リコーダー) … • オクターブキー押下 (サックス) • 親指で裏孔を半分開ける(リコーダー) … 基本振動のみ 形成が困難になる ↓ 基本周波数は変 わらない
19 © nayopu 2022. All rights reserved. 機械学習の採用 (割愛)
20 © nayopu 2022. All rights reserved. 無音サックスの完成(?)
21 © nayopu 2022. All rights reserved. 無音サックスの完成(?)
22 © nayopu 2022. All rights reserved. お し ま
い
23 © nayopu 2022. All rights reserved. @nayopu3