Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2002_Interspeech報告.pdf
Search
Ryo Masumura
February 13, 2020
Research
0
520
2002_Interspeech報告.pdf
Ryo Masumura
February 13, 2020
Tweet
Share
More Decks by Ryo Masumura
See All by Ryo Masumura
クロスモーダル表現学習の研究動向: 音声関連を中心として
ryomasumura
3
1.2k
MediaGnosis IEEE ICIP2023 Industry Seminar
ryomasumura
0
480
複数人会話データを活用した音声言語処理とアプリケーション(slud研究会招待講演)
ryomasumura
0
970
1907_ICASSP報告.pdf
ryomasumura
0
170
対話コンテキストを扱うターン交替点検出の検討
ryomasumura
0
540
階層再帰型Encoder-Decoderに基づく談話コンテキストEnd-to-End音声認識
ryomasumura
0
730
学会に発表者として継続的に参加するためのセルフマネージメント
ryomasumura
11
8.4k
対話コンテキストを考慮したニューラル通話シーン分割
ryomasumura
1
410
複数言語複数タスクを扱う発話意図推定モデリングのための敵対的学習の検討
ryomasumura
0
360
Other Decks in Research
See All in Research
Language Models Are Implicitly Continuous
eumesy
PRO
0
300
Google Agent Development Kit (ADK) 入門 🚀
mickey_kubo
2
2.1k
論文紹介:Not All Tokens Are What You Need for Pretraining
kosuken
0
200
地域丸ごとデイサービス「Go トレ」の紹介
smartfukushilab1
0
170
言語モデルの地図:確率分布と情報幾何による類似性の可視化
shimosan
8
1.8k
令和最新技術で伝統掲示板を再構築: HonoX で作る型安全なスレッドフロート型掲示板 / かろっく@calloc134 - Hono Conference 2025
calloc134
0
290
Time to Cash: The Full Stack Breakdown of Modern ATM Attacks
ratatata
0
160
Remote sensing × Multi-modal meta survey
satai
4
500
長期・短期メモリを活用したエージェントの個別最適化
isidaitc
0
190
Galileo: Learning Global & Local Features of Many Remote Sensing Modalities
satai
3
360
国際論文を出そう!ICRA / IROS / RA-L への論文投稿の心構えとノウハウ / RSJ2025 Luncheon Seminar
koide3
10
5.5k
大学見本市2025 JSTさきがけ事業セミナー「顔の見えないセンシング技術:多様なセンサにもとづく個人情報に配慮した人物状態推定」
miso2024
0
170
Featured
See All Featured
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
980
Building a Scalable Design System with Sketch
lauravandoore
463
33k
Reflections from 52 weeks, 52 projects
jeffersonlam
353
21k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Become a Pro
speakerdeck
PRO
29
5.6k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
359
30k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
Transcript
SLP第131回研究会 国際会議INTERSPEECH2019報告 音声の自己教師あり表現学習 NTT 増村 亮
自己教師あり(Self-Supervised)表現学習とは? • ラベルなしのデータのみから行える範囲内でタスクを設定し、 それを解くモデル化を行うことで表現空間を学習する手法 (これまではUnsupervised Learningでまとめられていたが最近はこう呼ぶ) • 代表的な例①:オートエンコーダのモデリング • 考え方:入力自身を復元できるような表現は有用な表現のはず
• 代表的な例②:自己回帰モデリング • 考え方:未来のコンテキストを予測できるような表現は有用な表現のはず • 強み: 教師あり学習等の事前学習に コスト0で手に入るラベルなしデータを活用できること
音声分野の研究例① • Audio Word2Vec [Chung+ Interspeech 2016] • アイデア:入力セグメント自身を復元できるように学習した 表現空間は有用なのでは?
つまり、系列オートエンコーダを構成
音声分野の研究例② • Speech2Vec [Chung+ Interspeech 2018] • アイデア:前後のセグメントを予測できるように学習した 表現空間は有用なのでは? 今のセグメントから
前後のセグメントを予測
音声分野の研究例③ • Unspeech [Milde+ Interspeech 2018] • アイデア:あるセグメントを周辺セグメントから予測できるように 学習した表現空間は有用なのでは? 周辺セグメントから
間のセグメントを予測するタスクを解く
音声分野の研究例④ • Contrastive Predictive Coding [van den Oord+ NIPS 2018]
• アイデア:未来のセグメントかどうかを見分けられるように学習し た表現空間は有用なのでは? 未来のセグメントを相互情報量 基準で見分けられるようにする
Interspeech2019における研究動向 • 自然言語処理分野のBERT等の成功により、 自己教師あり表現学習の文献が増加傾向にある • 注目①:これまでの特徴量抽出のノウハウを利用した表現学習 • 注目②:”発話内という情報”を明示的に利用した表現学習 ~その1~ •
注目③:”発話内という情報”を明示的に利用した表現学習 ~その2~ • 注目④: Transformer自己回帰モデルベースの表現学習
• アイデア:波形情報から対数パワースペクトルや MFCC、F0、零交差率を予測できるエンコーダは 音声を扱う問題に有用な表現を埋め込むことがで きるのでは? • 結果:エンコーダにSincNet[Ravanelli+ 2018]を 用いて学習することにより、MFCCやログメル フィルタバンク係数よりも高い性能を達成、特に
話者認識や感情分類では特に有用 Learning Problem-agnostic Speech Representations from Multiple Self-supervised Tasks Santiago Pascual, Mirco Ravanelli, Joan Serrà, Antonio Bonafonte1, Yoshua Bengio 「これまでの特徴量抽出のノウハウを利用した表現学習」
• アイデア:同一発話内の音声に対してエンコーダの 出力が類似するように、そして異なる発話から取り 出された音声に対してエンコーダの出力が類似しな いようモデル化すれば、話者の分類に有用な表現を 得られるのでは? • 結果:エンコーダにSincNetを用いて学習してから、 さらにd-vectorを学習することにより、話者認識タ スクにおいて高い性能を達成
Learning Speaker Representations with Mutual Information Mirco Ravanelli, Yoshua Bengio 「 ”発話内という情報”を明示的に利用した表現学習 ~その1」
Self-supervised speaker embeddings Themos Stafylakis, Johan Rohdin, Oldrich Plchot, Petr
Mizera, Lukas Burget • アイデア:同一音声内の別セグメントのオートエ ンコーディング(音素系列経由のオートエンコー ディング)を助けることができる表現は、話者等 の情報を含む表現なのでは? ※ ASRを使う点はややずるい… • 結果:学習した表現を話者認識タスクで利用する ことで、d-vectorと遜色ない性能を達成 「 ”発話内という情報”を明示的に利用した表現学習 ~その2~」
Unsupervised Representation Learning with Future Observation Prediction for Speech Emotion
Recognition Zheng Lian, Jianhua Tao, Bin Liu, Jian Huang 「Transformer自己回帰モデルベースの表現学習」 • アイデア:Transformerのデコーダ部分である masked multi-head self attentionベースの自 己回帰モデルを用いて、現在までの情報から未 来のフレームを予測できるように学習すれば有 用なエンコーダを構成できるのでは? • 結果:感情認識タスクの事前学習に用いること により高い性能を達成