Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20240817_Suno3.5の音源分離とVrewでのMV作成を試してみる
Search
NobuakiOshiro
PRO
August 16, 2024
Technology
0
95
20240817_Suno3.5の音源分離とVrewでのMV作成を試してみる
https://omoshiroai.connpass.com/event/326638/
NobuakiOshiro
PRO
August 16, 2024
Tweet
Share
More Decks by NobuakiOshiro
See All by NobuakiOshiro
20241115_第0回_データサイエンティストの応援団_ゲスト新川さん
doradora09
PRO
0
12
20241114_AGI福岡_1000行くらいならコーディング無しで簡易ゲーム開発な時代がくる?
doradora09
PRO
0
68
20241111_データサイエンティストの応援団の募集と解説(15min版)
doradora09
PRO
0
74
20241109_やさしいChatGPT入門_部活速習用(15min版)
doradora09
PRO
0
55
第1回 生成AIでポチポチゲームを作ろうの会 (ドラゴンスレイヤー)
doradora09
PRO
0
62
20241019_Chat先生の力を借りてHTMLで動くゲームのベースを作る
doradora09
PRO
0
79
20241012_DS協会せとうち支部発足プレイベント_地方(九州)DS奮闘記_共有用
doradora09
PRO
0
62
20240925_LT_DALLEとTripo3Dで自分風アバターを作って動かす
doradora09
PRO
0
120
20240925_LT_ChatGPT-4oの新ボイスモードが出たので少し触ってみた
doradora09
PRO
0
38
Other Decks in Technology
See All in Technology
強いチームと開発生産性
onk
PRO
34
11k
B2B SaaSから見た最近のC#/.NETの進化
sansantech
PRO
0
800
エンジニア人生の拡張性を高める 「探索型キャリア設計」の提案
tenshoku_draft
1
120
Terraform CI/CD パイプラインにおける AWS CodeCommit の代替手段
hiyanger
1
240
マルチプロダクトな開発組織で 「開発生産性」に向き合うために試みたこと / Improving Multi-Product Dev Productivity
sugamasao
1
300
Why does continuous profiling matter to developers? #appdevelopercon
salaboy
0
190
AGIについてChatGPTに聞いてみた
blueb
0
130
【Pycon mini 東海 2024】Google Colaboratoryで試すVLM
kazuhitotakahashi
2
500
Evangelismo técnico: ¿qué, cómo y por qué?
trishagee
0
360
TanStack Routerに移行するのかい しないのかい、どっちなんだい! / Are you going to migrate to TanStack Router or not? Which one is it?
kaminashi
0
590
Lambda10周年!Lambdaは何をもたらしたか
smt7174
2
110
初心者向けAWS Securityの勉強会mini Security-JAWSを9ヶ月ぐらい実施してきての近況
cmusudakeisuke
0
120
Featured
See All Featured
Adopting Sorbet at Scale
ufuk
73
9.1k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
24k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.1k
Intergalactic Javascript Robots from Outer Space
tanoku
269
27k
Fireside Chat
paigeccino
34
3k
Become a Pro
speakerdeck
PRO
25
5k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
The Pragmatic Product Professional
lauravandoore
31
6.3k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
229
52k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
6.8k
YesSQL, Process and Tooling at Scale
rocio
169
14k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
Transcript
Suno3.5の⾳源分離と VrewでのMV作成を 試してみる 2024/8/17 @doradora09
前回と今回 • 前回は「⾳声取り込みのアレンジ」をやりました • 今回はSuno3.5の新機能の⼀つの⾳源分離を今回試してみよう と思います(ついでにVrewというツールでMV作成) 分離 歌声パート 演奏パート
補⾜:⾳のフォーマット2種類 ⾳は基本は波形の重ね合わせですが、コンピュータ等への指⽰フォー マットとしてのMIDI形式もあります( ファミコン⾳源だとピコピコい うあれ ) • WAVE(WAV)形式 • 波形データそのままの録⾳。情報量多い。
• 今回はこちら ( 分離⼤変 ) • MIDI形式 • 着メロとか昔はこの形式(楽譜みたいなもの) • パート別に分かれていたりするので、分離は楽 ( ただし、ボーカルは基本的には扱えないはず )
Suno3.5の⾳源分離機能 • 実装⽅法は謎ですが、ボタン ひとつでOK • 完全な分離は難しそうなもの の、そこそこ分離できる • ⼀⽅で、 「楽器のメロディーの分離」
は難しそう ( あくまで⼈間の歌声の周波 数を分離している雰囲気 ) Get Stemsを 押すだけ
歌声と演奏の2ファイルに分離されます • いくつか分離 の実験をして みましたので 実際に聞いて みます ( 時間あれば )
⾃分の声を inputして作った 曲を分離 ( そこそこ分離 ) ⾃分の声->尺⼋ をメロディーに した曲 (分離できず) ボーカルも⽣成 したもの ( ⼀部分離 )
せっかくなので、VrewでMV作成 • Vrewという便利なツー ルがあったのでこちら を使ってミュージック ビデオ化にトライ • https://vrew.ai/ja/ • 無料枠でも⼗分使える
し、商⽤利⽤もOK • ⾳源分離と応⽤すれば カラオケもいけますね https://ipeinc.jp/media/vrew/
完成したものがこちら • MVの動画、 量産できそうですね • 作成の⼯程と参考資 料は後ろの⽅に載せ てます https://x.com/doradora09/status/1824399035224166635
今後試したいこと • 外部の⾳楽をまるっと分離できるかどうか -> ある程度できそうな気がする ( -> あと、歌声以外の分離ツールは無いかしら・・? ) •
メロディーのMIDI化 -> 多分精度は厳しい。GPT-4oの新ボイスモードに期待 • 上記ができれば、MIDIで楽曲をアレンジ ( or ChatGPTにアレンジを指⽰ ) • アンサンブルの楽譜化等 -> ⽣演奏
Enjoy..!!
補⾜資料
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ イントロなどは空⽩のク リップを⼊れて調整。 秒数は⼿動で微調整
MV作成に参考にした資料 • 先⼈の皆様、ありが とうございますmm https://designex.pro/2024/07/29/suno-aimv/