Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20240817_Suno3.5の音源分離とVrewでのMV作成を試してみる
Search
NobuakiOshiro
PRO
August 16, 2024
Technology
0
86
20240817_Suno3.5の音源分離とVrewでのMV作成を試してみる
https://omoshiroai.connpass.com/event/326638/
NobuakiOshiro
PRO
August 16, 2024
Tweet
Share
More Decks by NobuakiOshiro
See All by NobuakiOshiro
第1回 生成AIでポチポチゲームを作ろうの会 (ドラゴンスレイヤー)
doradora09
PRO
0
42
20241019_Chat先生の力を借りてHTMLで動くゲームのベースを作る
doradora09
PRO
0
72
20241012_DS協会せとうち支部発足プレイベント_地方(九州)DS奮闘記_共有用
doradora09
PRO
0
54
20240925_LT_DALLEとTripo3Dで自分風アバターを作って動かす
doradora09
PRO
0
110
20240925_LT_ChatGPT-4oの新ボイスモードが出たので少し触ってみた
doradora09
PRO
0
35
20240919_LT_もしも99.9%ハルシネーションの起きない生成AI・AGIができたら
doradora09
PRO
0
67
20240725_ChatGPTでできること_2024夏・簡易版
doradora09
PRO
0
39
20240724_オモシロAIごった煮会_第13回_オープニングトーク
doradora09
PRO
0
42
20240724_オモシロAIごった煮会_LT_suno3.5できらきら星アレンジ
doradora09
PRO
0
50
Other Decks in Technology
See All in Technology
マネジメント視点でのre:Invent参加 ~もしCEOがre:Inventに行ったら~
kojiasai
0
390
来年もre:Invent2024 に行きたいあなたへ - “集中”と“つながり”で楽しむ -
ny7760
0
420
ガチ勢によるPipeCD運用大全〜滑らかなCI/CDを添えて〜 / ai-pipecd-encyclopedia
cyberagentdevelopers
PRO
3
190
visionOSでの空間表現実装とImmersive Video表示について / ai-immersive-visionos
cyberagentdevelopers
PRO
1
100
顧客が本当に必要だったもの - パフォーマンス改善編 / Make what is needed
soudai
23
6.5k
オニオンアーキテクチャで実現した 本質課題を解決する インフラ移行の実例
hryushm
14
3k
生成AIの強みと弱みを理解して、生成AIがもたらすパワーをプロダクトの価値へ繋げるために実践したこと / advance-ai-generating
cyberagentdevelopers
PRO
1
170
CI/CDやテスト自動化の開発プロジェクトへの適用
megascus
3
720
日経電子版におけるリアルタイムレコメンドシステム開発の事例紹介/nikkei-realtime-recommender-system
yng87
1
430
分布で見る効果検証入門 / ai-distributional-effect
cyberagentdevelopers
PRO
4
680
プロダクトチームへのSystem Risk Records導入・運用事例の紹介/Introduction and Case Studies on Implementing and Operating System Risk Records for Product Teams
taddy_919
1
140
30万人が利用するチャットをFirebase Realtime DatabaseからActionCableへ移行する方法
ryosk7
3
320
Featured
See All Featured
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
504
140k
Art, The Web, and Tiny UX
lynnandtonic
296
20k
Rebuilding a faster, lazier Slack
samanthasiow
79
8.6k
A Tale of Four Properties
chriscoyier
156
23k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
How to Ace a Technical Interview
jacobian
275
23k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
37
1.8k
How to Think Like a Performance Engineer
csswizardry
19
1.1k
VelocityConf: Rendering Performance Case Studies
addyosmani
325
24k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
27
1.9k
The Power of CSS Pseudo Elements
geoffreycrofte
72
5.3k
Fashionably flexible responsive web design (full day workshop)
malarkey
404
65k
Transcript
Suno3.5の⾳源分離と VrewでのMV作成を 試してみる 2024/8/17 @doradora09
前回と今回 • 前回は「⾳声取り込みのアレンジ」をやりました • 今回はSuno3.5の新機能の⼀つの⾳源分離を今回試してみよう と思います(ついでにVrewというツールでMV作成) 分離 歌声パート 演奏パート
補⾜:⾳のフォーマット2種類 ⾳は基本は波形の重ね合わせですが、コンピュータ等への指⽰フォー マットとしてのMIDI形式もあります( ファミコン⾳源だとピコピコい うあれ ) • WAVE(WAV)形式 • 波形データそのままの録⾳。情報量多い。
• 今回はこちら ( 分離⼤変 ) • MIDI形式 • 着メロとか昔はこの形式(楽譜みたいなもの) • パート別に分かれていたりするので、分離は楽 ( ただし、ボーカルは基本的には扱えないはず )
Suno3.5の⾳源分離機能 • 実装⽅法は謎ですが、ボタン ひとつでOK • 完全な分離は難しそうなもの の、そこそこ分離できる • ⼀⽅で、 「楽器のメロディーの分離」
は難しそう ( あくまで⼈間の歌声の周波 数を分離している雰囲気 ) Get Stemsを 押すだけ
歌声と演奏の2ファイルに分離されます • いくつか分離 の実験をして みましたので 実際に聞いて みます ( 時間あれば )
⾃分の声を inputして作った 曲を分離 ( そこそこ分離 ) ⾃分の声->尺⼋ をメロディーに した曲 (分離できず) ボーカルも⽣成 したもの ( ⼀部分離 )
せっかくなので、VrewでMV作成 • Vrewという便利なツー ルがあったのでこちら を使ってミュージック ビデオ化にトライ • https://vrew.ai/ja/ • 無料枠でも⼗分使える
し、商⽤利⽤もOK • ⾳源分離と応⽤すれば カラオケもいけますね https://ipeinc.jp/media/vrew/
完成したものがこちら • MVの動画、 量産できそうですね • 作成の⼯程と参考資 料は後ろの⽅に載せ てます https://x.com/doradora09/status/1824399035224166635
今後試したいこと • 外部の⾳楽をまるっと分離できるかどうか -> ある程度できそうな気がする ( -> あと、歌声以外の分離ツールは無いかしら・・? ) •
メロディーのMIDI化 -> 多分精度は厳しい。GPT-4oの新ボイスモードに期待 • 上記ができれば、MIDIで楽曲をアレンジ ( or ChatGPTにアレンジを指⽰ ) • アンサンブルの楽譜化等 -> ⽣演奏
Enjoy..!!
補⾜資料
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ
参考:MV作成の作業⼿順メモ イントロなどは空⽩のク リップを⼊れて調整。 秒数は⼿動で微調整
MV作成に参考にした資料 • 先⼈の皆様、ありが とうございますmm https://designex.pro/2024/07/29/suno-aimv/