Upgrade to Pro — share decks privately, control downloads, hide ads and more …

20240817_Suno3.5の音源分離とVrewでのMV作成を試してみる

 20240817_Suno3.5の音源分離とVrewでのMV作成を試してみる

NobuakiOshiro

August 16, 2024
Tweet

More Decks by NobuakiOshiro

Other Decks in Technology

Transcript

  1. 補⾜:⾳のフォーマット2種類 ⾳は基本は波形の重ね合わせですが、コンピュータ等への指⽰フォー マットとしてのMIDI形式もあります( ファミコン⾳源だとピコピコい うあれ ) • WAVE(WAV)形式 • 波形データそのままの録⾳。情報量多い。

    • 今回はこちら ( 分離⼤変 ) • MIDI形式 • 着メロとか昔はこの形式(楽譜みたいなもの) • パート別に分かれていたりするので、分離は楽 ( ただし、ボーカルは基本的には扱えないはず )
  2. 歌声と演奏の2ファイルに分離されます • いくつか分離 の実験をして みましたので 実際に聞いて みます ( 時間あれば )

    ⾃分の声を inputして作った 曲を分離 ( そこそこ分離 ) ⾃分の声->尺⼋ をメロディーに した曲 (分離できず) ボーカルも⽣成 したもの ( ⼀部分離 )
  3. 今後試したいこと • 外部の⾳楽をまるっと分離できるかどうか -> ある程度できそうな気がする ( -> あと、歌声以外の分離ツールは無いかしら・・? ) •

    メロディーのMIDI化 -> 多分精度は厳しい。GPT-4oの新ボイスモードに期待 • 上記ができれば、MIDIで楽曲をアレンジ ( or ChatGPTにアレンジを指⽰ ) • アンサンブルの楽譜化等 -> ⽣演奏