Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Demucsを用いた音源分離
Search
shuto goya
October 28, 2023
Science
0
500
Demucsを用いた音源分離
Music×Analytics Meetup Vol.11での発表内容です。
shuto goya
October 28, 2023
Tweet
Share
Other Decks in Science
See All in Science
マウス肝炎ウイルス感染の遺伝子発現へのテンソル分解の適用によるSARS-CoV-2感染関連重要ヒト遺伝子と有効な薬剤の同定
tagtag
0
120
02_西村訓弘_プログラムディレクター_人口減少を機にひらく未来社会.pdf
sip3ristex
0
480
実力評価性能を考慮した弓道高校生全国大会の大会制度設計の提案 / (konakalab presentation at MSS 2025.03)
konakalab
2
170
Online Feedback Optimization
floriandoerfler
0
2.2k
機械学習 - K近傍法 & 機械学習のお作法
trycycle
PRO
0
1.1k
データベース06: SQL (3/3) 副問い合わせ
trycycle
PRO
1
540
地表面抽出の方法であるSMRFについて紹介
kentaitakura
1
740
メール送信サーバの集約における透過型SMTP プロキシの定量評価 / Quantitative Evaluation of Transparent SMTP Proxy in Email Sending Server Aggregation
linyows
0
930
ほたるのひかり/RayTracingCamp10
kugimasa
1
710
KH Coderチュートリアル(スライド版)
koichih
1
41k
ウェブ・ソーシャルメディア論文読み会 第25回: Differences in misinformation sharing can lead to politically asymmetric sanctions (Nature, 2024)
hkefka385
0
110
Factorized Diffusion: Perceptual Illusions by Noise Decomposition
tomoaki0705
0
390
Featured
See All Featured
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
A designer walks into a library…
pauljervisheath
207
24k
Optimizing for Happiness
mojombo
379
70k
Rebuilding a faster, lazier Slack
samanthasiow
82
9.1k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
17
950
Producing Creativity
orderedlist
PRO
346
40k
Transcript
Demucsを用いた音源分離 2023/10/28 Music×Analytics Meetup Vol.11 合谷秋人
自己紹介 https://github.com/ch-shin/awesome-nilm 仕事 音楽遍歴 NILM(機器分離)技術の開発 中学 高校 大学以降 • ロキノン系(死語?)からマスロック・エモ寄りも好き
• 15~20歳までバンド活動(ギター) • 今はもっぱら聞くだけ(音楽活動したい) その他 • X: @shuto508 • 最近の取り組んでいる・やりたいこと ◦ Kaggleとか興味ある(が、ほぼやっていない) ◦ 引き続き機械学習の勉強(PRMLを頑張って解読中) • 趣味:ビール
よくある悩み:耳コピができない…! 聞きたいパートだけ聞けたらいいのになぁ … • そもそもフレーズが複雑 • 音が埋もれている • etc…
音源分離:合成波形(元音源)を個別要素に分解する 代表的なDeep Learning手法 主な応用先 • AIスピーカー • テレビ会議システム • 補聴器
• etc… • U-Net • Deep clustering • Conv-TasNet • etc… 全体から個別パートに分解
Demucs: Metaが開発した音源分離ライブラリ 元となる技術:Wave U-Net Vocal/Bass/Drums/Othersに分離 Wave U-Net: U-Netを1次元にしたもの
Google Colab上で簡単に分離結果を得ることが可能 Notebook例 ディレクトリ構成 分離結果 元音源 ノートブックを実行するだけで手軽に音源分離が可能
やってみた①:Demo編 波形やメルスペクトログラムではどこで何が鳴っているのか不明 元音源
やってみた①:分離結果 Drums Vocal Bass Others 各成分に音源分離できた!!
やってみた①:メルスペクトログラム分析 Drums Vocal Bass Others ボーカル/ピアノ 金物/倍音 ベース/ドラム
やってみた②:バンド音楽編
感想 - 手軽に分離できるわりに結構綺麗に分離される - パートごとの楽曲構成を調べることもできそう - ボーカルなどは一部違和感のある箇所もあった - 正解データ作りもできそう…? -
リード/バッキングは分けられない(主目的が…) - 音数が減った事自体で聞き取りやすくはなっている! - DemucsはVocal/Bass/Drums/Othersと分離できる構成が固定
ご清聴ありがとうございました!
Appendix
- https://github.com/facebookresearch/demucs - https://github.com/f90/Wave-U-Net 参考