音声B紹介ポスター@音響学会ビギナーズセミナー

Transcript

1. 音声B 分野紹介 東大院・情報理工 中村泰貴
2. 音声B（音声合成・音声変換） ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 1 音声合成とは 音声を人工的に作り出す技術
3. 音声合成に関する代表的な研究範囲 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 2 どんな情報からどんな音声を生成するかで分野が細分化 テキスト音声合成(Text-to-Speech: TTS) 音声変換(Voice Conversion: VC) 歌声合成(Singing Voice Synthesis) マルチモーダル音声合成 こんにちは TTS VC 合成モデル 歌詞 + 合成モデル こんにちは 口唇情報に基づく音声合成(Lip-to-Speech) 合成モデル 唇の動き 脳波信号に基づく音声合成(EEG-to-Speech) 合成モデル
4. 音声の持つ情報 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 3 パラ言語情報 話し手が意図的に付与するテキスト化できない情報（感情等） 言語情報 何を話しているかといったテキスト化できる情報 非言語情報 非意図的に付与されるテキスト化できない情報（声質等） 音声変換では入力された音声のこれらの一部を変換する技術
5. 音声変換の代表的な研究範囲 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 4 声質変換(名探偵コナンの蝶ネクタイ型変成器) 非言語情報(声質など)のみを変換 感情変換 パラ言語情報(感情など)のみを変換 音韻変換 言語情報(発言内容)のみを変換 /i/ /u/
6. 音声合成に関するサービス/製品 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 5 テキスト音声合成 [1] 音声変換 [2] 歌声合成 [3] [1] Coefont 社 homepage より, https://coefont.cloud/ [2] AIで声質を“美少⼥”化⾳声変換サービス「七声ニーナ」、DeNAが試験提供, https://www.itmedia.co.jp/news/articles/2105/12/news123.html [3] NEUTRINO homepage より, https://n3utrino.work/
7. 近年のテキスト音声合成技術 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 6 こんにちは 言語特徴量 抽出 音声特徴量 予測 音声生成 1995 〜 2016年：複数要素から構成される音声合成システム こんにちは 音声特徴量予測 + 音声生成 2017年〜：アテンション機構による End-to-End 音声合成 こんにちは 2019年〜：音素継続長機構による End-to-End 音声合成 音声特徴量予測 + 音声生成 低音質 個別に学習させる必要 並列計算不可 合成失敗の場合あり 並列計算可能 -> 高速 合成失敗の場合なし
8. 近年の声質変換技術 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 7 1対1音声変換(One-to-One VC) VC (任意)対1音声変換(Any-to-One VC) VC 入出力いずれも学習データに含まれる話者 入力が学習データに含まれない話者 入力された音声から ①話した内容 と ②韻律 を抽出 & 声質は取り除く ＊声質を取り除きつつ①と②を抽出する VC を学習するのは困難 限られたデータ 事前に大規模データで自己教師あり学習した特徴量を応用し ＊ を実現
9. 近年の声質変換技術 ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 8 自己教師あり学習 特徴抽出 大量の音声データ VC 特徴抽出 大人数の話者が含まれる大規模データを用いて波形から 話した内容と韻律を内包する情報を抽出するよう学習 音声を用いた 様々な技術へ応用 することが可能 Any-to-One VC 自己教師あり学習で得られる特徴量を導入することで高品質化
10. まとめ ⽇本⾳響学会2022年春季研究発表会 ビギナーズセミナー 9 ▪ 本スライドの内容 音声合成 & 音声変換とは 音声合成 & 音声変換の代表的な研究範囲 音声合成 & 音声変換のサービス/製品 近年の音声合成 & 音声変換 ▪ おまけ（実際に手を動かしてみたい人向けのツールやデータ） 日本語テキスト音声合成向けデータセット：JSUT (10 hours, 1 speaker, studio recording) 日本語音声変換向けデータセット：JVS（24 hours, 100 speakers, studio recording） 日本語歌声合成データセット：東北きりたんコーパス（50 songs, 1 singer） End-to-End 音声合成(変換)ツール：ESPnet, https://github.com/espnet/espnet 統計的パラメトリック音声合成ツール： nnmnkwii, https://github.com/r9y9/nnmnkwii