Upgrade to Pro — share decks privately, control downloads, hide ads and more …

音声B紹介ポスター@音響学会ビギナーズセミナー

 音声B紹介ポスター@音響学会ビギナーズセミナー

Taiki Nakamura

March 08, 2022
Tweet

More Decks by Taiki Nakamura

Other Decks in Technology

Transcript

  1. 音声合成に関する代表的な研究範囲 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 2 どんな情報からどんな音声を生成するかで分野が細分化 テキスト音声合成(Text-to-Speech: TTS) 音声変換(Voice Conversion: VC)

    歌声合成(Singing Voice Synthesis) マルチモーダル音声合成 こんにちは TTS VC 合成モデル 歌詞 + 合成モデル こんにちは 口唇情報に基づく音声合成(Lip-to-Speech) 合成モデル 唇の動き 脳波信号に基づく音声合成(EEG-to-Speech) 合成モデル
  2. 音声合成に関するサービス/製品 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 5 テキスト音声合成 [1] 音声変換 [2] 歌声合成 [3]

    [1] Coefont 社 homepage より, https://coefont.cloud/ [2] AIで声質を“美少⼥”化⾳声変換サービス「七声ニーナ」、DeNAが試験提供, https://www.itmedia.co.jp/news/articles/2105/12/news123.html [3] NEUTRINO homepage より, https://n3utrino.work/
  3. 近年のテキスト音声合成技術 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 6 こんにちは 言語特徴量 抽出 音声特徴量 予測 音声生成

    1995 〜 2016年:複数要素から構成される音声合成システム こんにちは 音声特徴量予測 + 音声生成 2017年〜:アテンション機構による End-to-End 音声合成 こんにちは 2019年〜:音素継続長機構による End-to-End 音声合成 音声特徴量予測 + 音声生成 低音質 個別に学習させる必要 並列計算不可 合成失敗の場合あり 並列計算可能 -> 高速 合成失敗の場合なし
  4. 近年の声質変換技術 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 7 1対1音声変換(One-to-One VC) VC (任意)対1音声変換(Any-to-One VC) VC

    入出力いずれも学習データに含まれる話者 入力が学習データに含まれない話者 入力された音声から ①話した内容 と ②韻律 を抽出 & 声質は取り除く *声質を取り除きつつ①と②を抽出する VC を学習するのは困難 限られたデータ 事前に大規模データで自己教師あり学習した特徴量を応用し * を実現
  5. 近年の声質変換技術 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 8 自己教師あり学習 特徴抽出 大量の音声データ VC 特徴抽出 大人数の話者が含まれる大規模データを用いて波形から

    話した内容と韻律を内包する情報を抽出するよう学習 音声を用いた 様々な技術へ応用 することが可能 Any-to-One VC 自己教師あり学習で得られる特徴量を導入することで高品質化
  6. まとめ ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 9 ▪ 本スライドの内容 音声合成 & 音声変換とは 音声合成

    & 音声変換の代表的な研究範囲 音声合成 & 音声変換のサービス/製品 近年の音声合成 & 音声変換 ▪ おまけ(実際に手を動かしてみたい人向けのツールやデータ) 日本語テキスト音声合成向けデータセット:JSUT (10 hours, 1 speaker, studio recording) 日本語音声変換向けデータセット:JVS(24 hours, 100 speakers, studio recording) 日本語歌声合成データセット:東北きりたんコーパス(50 songs, 1 singer) End-to-End 音声合成(変換)ツール:ESPnet, https://github.com/espnet/espnet 統計的パラメトリック音声合成ツール: nnmnkwii, https://github.com/r9y9/nnmnkwii