Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Demucsを用いた音源分離
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
shuto goya
October 28, 2023
Science
690
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Demucsを用いた音源分離
Music×Analytics Meetup Vol.11での発表内容です。
shuto goya
October 28, 2023
Transcript
14 slides
Demucsを用いた音源分離 2023/10/28 Music×Analytics Meetup Vol.11 合谷秋人
自己紹介 https://github.com/ch-shin/awesome-nilm 仕事 音楽遍歴 NILM(機器分離)技術の開発 中学 高校 大学以降 • ロキノン系(死語?)からマスロック・エモ寄りも好き
• 15~20歳までバンド活動(ギター) • 今はもっぱら聞くだけ(音楽活動したい) その他 • X: @shuto508 • 最近の取り組んでいる・やりたいこと ◦ Kaggleとか興味ある(が、ほぼやっていない) ◦ 引き続き機械学習の勉強(PRMLを頑張って解読中) • 趣味:ビール
よくある悩み:耳コピができない…! 聞きたいパートだけ聞けたらいいのになぁ … • そもそもフレーズが複雑 • 音が埋もれている • etc…
音源分離:合成波形(元音源)を個別要素に分解する 代表的なDeep Learning手法 主な応用先 • AIスピーカー • テレビ会議システム • 補聴器
• etc… • U-Net • Deep clustering • Conv-TasNet • etc… 全体から個別パートに分解
Demucs: Metaが開発した音源分離ライブラリ 元となる技術:Wave U-Net Vocal/Bass/Drums/Othersに分離 Wave U-Net: U-Netを1次元にしたもの
Google Colab上で簡単に分離結果を得ることが可能 Notebook例 ディレクトリ構成 分離結果 元音源 ノートブックを実行するだけで手軽に音源分離が可能
やってみた①:Demo編 波形やメルスペクトログラムではどこで何が鳴っているのか不明 元音源
やってみた①:分離結果 Drums Vocal Bass Others 各成分に音源分離できた!!
やってみた①:メルスペクトログラム分析 Drums Vocal Bass Others ボーカル/ピアノ 金物/倍音 ベース/ドラム
やってみた②:バンド音楽編
感想 - 手軽に分離できるわりに結構綺麗に分離される - パートごとの楽曲構成を調べることもできそう - ボーカルなどは一部違和感のある箇所もあった - 正解データ作りもできそう…? -
リード/バッキングは分けられない(主目的が…) - 音数が減った事自体で聞き取りやすくはなっている! - DemucsはVocal/Bass/Drums/Othersと分離できる構成が固定
ご清聴ありがとうございました!
Appendix
- https://github.com/facebookresearch/demucs - https://github.com/f90/Wave-U-Net 参考
More Decks by shuto goya
See All by shuto goya
AIAgentと取り組むKaggle
508shuto
3
1.9k
Other Decks in Science
See All in Science
薬学部出身の新卒営業がAmazon Bio Discoveryで自由研究してみた!
kusunokikeisuke
0
260
データベース06: SQL (3/3) 副問い合わせ
trycycle
PRO
1
1.2k
Leitner Inauguration Lecture Chalmers University of Technology
xleitix
0
420
Biohub - Cell Tracking During Development - 3rd Place Solution
yu4u
3
690
因果探索の発展と展望
sshimizu2006
2
1.3k
Sunday Math Party 36 - Operate with Operate
butchi
0
110
20261012_hcmpl2026
takusamar
0
210
JPA2026_NetworkSymposium_Shimotsukasa
junkashihara
0
120
CVPR2026_VGGTとその仲間たち
mickey_0226
0
1.3k
GKE上でオセロの強化学習やってみた
akasan
0
130
Засідання студентського наукового гуртка «Садово-паркове господарство»
mariiabarkan12
0
120
機械学習 - SVM
trycycle
PRO
2
1.3k
Featured
See All Featured
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
203
77k
Navigating the moral maze — ethical principles for Al-driven product design
skipperchong
2
690
Designing Dashboards & Data Visualisations in Web Apps
destraynor
232
55k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
38
3.1k
AI: The stuff that nobody shows you
jnunemaker
PRO
12
1.3k
Accessibility Awareness
sabderemane
1
310
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
28
3.8k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
10
1.4k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
Site-Speed That Sticks
csswizardry
13
1.6k
Odyssey Design
rkendrick25
PRO
3
960
Embracing the Ebb and Flow
colly
88
5.2k