ACE-Step-1.5で見る 音楽生成AIのしくみと“破綻だけ直す”Retake機能の開発【zennfes spring 2026 登壇資料】

https://zenn.dev/events/zennfes-spring-2026
https://classmethod.connpass.com/event/390416/

Transcript

1. asap asap ACE-Step-1.5で見る 音楽生成AIのしくみと “破綻だけ直す”Retake機能の開発
2. 1 はじめに 自己紹介 asap AI・機械学習の理論に興味を持つエンジニア。 ZennでAI関連の技術記事を書いてます。 @asap2650 ぜひ今アカウント作って登録してください @asap2650
3. 2 はじめに 本講演の目的 音楽生成AIの「技術的な面白さ」を知ってもらうこと 技術に関してそんなに詳しくない人でも「面白い！」と思ってもらえることが本日の目的です 厳密にはFlow MatchingのところをDiffusionと呼んだりします 若干の厳密性は捨てて、なんとなくわかっていただくことが目標です ぜひ私の記事もご覧ください @asap2650 こちらの内容を参考にお話しします
4. 3 はじめに 本日のお品書き ACE-Step-1.5で見る音楽生成AI 1 現行の日本語音楽生成AIの限界 2 破綻部分を違和感なく修正するRetake機能の開発 3 @asap2650
5. 4 はじめに 本日のお品書き ACE-Step-1.5で見る音楽生成AI 1 現行の日本語音楽生成AIの限界 2 破綻部分を違和感なく修正するRetake機能の開発 3 @asap2650
6. 5 ローカルで動く高性能音楽生成AI ACE-Step-1.5で見る音楽生成AI @asap2650 歌詞とCaptionのテキストから音楽を生成するAIモデル • オープンな音楽生成モデル • テキスト・歌詞・参照音源などから音楽を生成・編集可能 • ACE Studio / StepFun系のプロジェクトとして公開 • 2026年1月31日にarXiv初版が公開 • 4GB未満VRAMでローカル動作 • 50以上の言語でプロンプト追従 • Cover / Repainting などの編集機能も統合 • 日本語の歌詞から高品質な音楽生成が可能な数少ないローカルモデル
7. 6 音楽生成AIの種類 ACE-Step-1.5で見る音楽生成AI @asap2650 商用としてはSunoやUdioが代表例 ローカルで動くAIの中ではACE-Step-1.5がトップレベル 商用モデル オープンモデル オープンモデルと比べて性能が高い 仕組みは公開されていない コードもモデルも全て公開されており解析可能 Suno Udio Music Gen YuE DiffRhythm ACE-Step-1.5
8. 7 音楽生成AIの種類 ACE-Step-1.5で見る音楽生成AI @asap2650 オープンモデルにはTransformer型とDiffusion型が存在 商用モデル オープンモデル オープンモデルと比べて性能が高い 仕組みは公開されていない コードもモデルも全て公開されており解析可能 Transformer型 Music Gen YuE Suno Udio DiffRhythm ACE-Step-1.5 Diffusion型
9. 8 (復習)Transformer型とは ACE-Step-1.5で見る音楽生成AI @asap2650 これまでの入力を見て、次に来るものを1つずつ予測するモデル 大規模言語モデル(ChatGPT等)にスタンダードとして利用される 今日 の 昼 ご飯 は 餃子 に タクシー 遅い 10% ・・・ 0.2% 0.6% 2.6% 【音楽に使う場合】 音楽を細かいトークン列に変換し、次のトークンを1つずつ生成する。 そのため、歌詞や曲全体の流れは保ちやすいが、生成に時間がかかる。
10. 9 (復習) Diffusion型とは ACE-Step-1.5で見る音楽生成AI @asap2650 画像生成AIなどによく用いられる ノイズから綺麗な画像/音楽などを生成するモデル https://zenn.dev/asap/articles/7940b17be86da7 https://zenn.dev/asap/articles/7940b17be86da7 https://zenn.dev/asap/articles/4092ab60570b05 https://zenn.dev/asap/articles/4092ab60570b05 【音楽に使う場合】 音楽全体の潜在表現を、ノイズから少しずつ更新して生成する。 「曲の長さによらず」ノイズを除去する回数分のみの計算で済むため「高速」だが、長い曲全体の構造は崩れやすい。
11. 10 音楽生成AIの種類 ACE-Step-1.5で見る音楽生成AI @asap2650 音楽生成では「生成速度」と「曲全体の一貫性」が両立しにくい Transformer Diffusion 今日 の 昼 ご飯 は 餃子 に タクシー 遅い 10% ・・・ 0.2% 0.6% 2.6% 大規模言語モデルなどでよく使われるモデル構造 全体を考慮できるが、逐次生成のため生成が遅い 画像生成AIなどでよく使われるモデル構造 生成が高速だが離れた箇所の構造的整合性が低い 歌詞・曲全体の整合性 生成速度 歌詞・曲全体の整合性 生成速度
12. 11 ACE-Stepの発想：設計図はLLM、音作りはDiffusion ACE-Step-1.5で見る音楽生成AI @asap2650 LLMが曲全体の構造を作成し、DiffusionとVAEが高速に曲を生成 LLM：曲の設計図 DiT：音の生成 VAE：音声へ復元 Input Texts 48kHz Audio 荒い潜在表現を出力し 曲全体の構造をDiTにガイド 荒い潜在表現から 詳細な潜在表現を高速生成 潜在表現から 音声波形を出力 Audio Code 潜在表現
13. 12 モデル説明 ACE-Step-1.5で見る音楽生成AI @asap2650
14. 13 はじめに 本日のお品書き ACE-Step-1.5で見る音楽生成AI 1 現行の日本語音楽生成AIの限界 2 破綻部分を違和感なく修正するRetake機能の開発 3 @asap2650
15. 14 現行の日本語音楽生成AIの限界 日本語は難しい @asap2650 こんな経験はないですか？ 好きなんだけど 微妙に破綻してるから没にするか・・・ 【問題】ほとんど良い曲なのに、数秒の破綻だけで没になる
16. 15 現行の日本語音楽生成AIの限界 日本語は難しい @asap2650
17. 16 現行の日本語音楽生成AIの限界 公式Repaint機能について @asap2650 Repaint機能は汎用性は高いが、微修正に特化していない 20−30回程度Repaintさせて最も自然なものを採用した結果 Repaint機能は 「ACE-Step-1.5で生成した曲以外にも利用可能」 「サビ全体をジャズ風になどの大きな変更が可能」 といった汎用性が非常に高い素晴らしい機能 しかし、読み間違いなどの微修正には向かない
18. 17 現行の日本語音楽生成AIの限界 公式Repaint機能のパイプライン @asap2650 ①様々な曲に対応するため Audio codesの代わりに VAE Encoderによる 潜在表現を利用 →劣化要素 ②大きな編集にも対応する ため編集区間の中では src_latentsが上書き →原曲から大きく離れる
19. 18 はじめに 本日のお品書き ACE-Step-1.5で見る音楽生成AI 1 現行の日本語音楽生成AIの限界 2 破綻部分を違和感なく修正するRetake機能の開発 3 @asap2650
20. 19 破綻部分を違和感なく修正するRetake機能の提案 まずは結果 @asap2650 違和感なく修正可能 4回程度生成すれば 完璧に微修正したトラックが生成可能
21. 20 破綻部分を違和感なく修正するRetake機能の提案 Retake機能のパイプライン @asap2650
22. 21 破綻部分を違和感なく修正するRetake機能の提案 Retake機能の工夫点① @asap2650 ①原曲生成時に保存した Audio Codesと潜在表現を直接利用
23. 22 破綻部分を違和感なく修正するRetake機能の提案 Retake機能の工夫点② @asap2650 ②原曲生成時と同一の Audio CodesがDiTの生成をガイド
24. 23 破綻部分を違和感なく修正するRetake機能の提案 Retake機能の工夫点③ @asap2650 ③DiTの初期ノイズに原曲と同じ潜在表現を 混ぜて生成方向を誘導
25. 24 破綻部分を違和感なく修正するRetake機能の提案 Retake機能の工夫点④ @asap2650 ④モデルパラメータの変更ではなく 使い方を変えただけ モデルが進化しても継続して利用可能
26. 25 まとめ まとめ ACE-Step-1.5は既存の音楽生成AIのいいところどり 1 公式機能でピンポイントに破綻の修正は難しい 2 破綻部分を違和感なく微修正するRetake機能の開発 3 @asap2650
27. 26 最後に 記事と動画にいいねをお願いします！ @asap2650