Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Learning Lexical Subspaces in a Distributional Vector Space
Search
Taichi Aida
September 16, 2021
Research
0
250
文献紹介:Learning Lexical Subspaces in a Distributional Vector Space
最先端NLP2021
Learning Lexical Subspaces in a Distributional Vector Space(TACL2020)
相田太一
都立大 小町研
Taichi Aida
September 16, 2021
Tweet
Share
More Decks by Taichi Aida
See All by Taichi Aida
新入生向けチュートリアル:文献のサーベイv2
a1da4
9
7.6k
文献紹介:Isotropic Representation Can Improve Zero-Shot Cross-Lingual Transfer on Multilingual Language Models
a1da4
0
77
文献紹介:WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings
a1da4
1
100
文献紹介:On the Transformation of Latent Space in Fine-Tuned NLP Models
a1da4
0
38
新入生向けチュートリアル:文献のサーベイ
a1da4
0
330
文献紹介:Temporal Attention for Language Models
a1da4
0
220
文献紹介:Dynamic Contextualized Word Embeddings
a1da4
2
320
文献紹介:Unsupervised Word Polysemy Quantification with Multiresolution Grids of Contextual Embeddings
a1da4
0
69
新入生向けチュートリアル:tmux
a1da4
0
220
Other Decks in Research
See All in Research
HP (Hitto Point: 筆頭ポイント)
tanichu
0
860
ランサーズエージェント_フリーランスエンジニアの年収・キャリアの実態調査2024
lancers_pr
0
260
SSII2024 [OS2] 画像、その先へ 〜モーション解析への誘い〜
ssii
PRO
1
930
Conducting AI Research on High-Performance Computing (HPC) Systems
yoshipon
2
410
F0に基づいて伸縮された画像文字からの音声合成 [ASJ2024春]
nehi0615
0
150
Rの機械学習フレームワークの紹介〜tidymodelsを中心に〜 / machine_learning_with_r2024
s_uryu
0
390
マルチモーダル学習ライブラリ Heronと⾃動運転への応⽤
yuyamaguchi
1
900
点群処理の基礎: 平面の検出と、その上下の点の取り出しについて
kentaitakura
0
200
「人間にAIはどのように辿り着けばよいのか?ー 系統的汎化からの第一歩 ー」@第22回 Language and Robotics研究会
maguro27
0
140
CARA MEMBUKA VIDEO DEWASA DI INDONESIA
bloglangit
0
260
1on1ガイドへの想い(chachaki編)
chachakix
0
120
機械学習と最適化の融合動的ロットサイズ決定問題を例として
mickey_kubo
2
340
Featured
See All Featured
RailsConf 2023
tenderlove
11
670
StorybookのUI Testing Handbookを読んだ
zakiyama
14
4.8k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
51k
Done Done
chrislema
178
15k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
42
4.7k
The Power of CSS Pseudo Elements
geoffreycrofte
63
5.1k
Designing for Performance
lara
603
67k
The World Runs on Bad Software
bkeepers
PRO
62
10k
GraphQLの誤解/rethinking-graphql
sonatard
58
9.5k
The Art of Programming - Codeland 2020
erikaheidi
46
12k
Navigating Team Friction
lara
180
13k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
501
140k
Transcript
Learning Lexical Subspaces in a Distributional Vector Space Kushal Arora,
Aishik Chakraborty, Jackie C. K. Cheung TACL2020 相田太一 東京都立大学 小町研究室 最先端NLP
概要 - 単語の語彙・意味的な関係(類義語、上位語な ど)を単語ベクトル空間から変換した subspace で表現 - 元のベクトル空間の情報を保持したまま内在・外 因的評価で既存の手法を上回る 2
導入 - 問題点:分布仮説は対義語を扱えない →制約を加えて単語ベクトルを修正する研究 ✅ 指定した意味的関係を扱えるようになる ❌ 元のベクトルが持つ情報が失われる (→下流タスクでの性能低下) ❌
複数の関係を扱うのが困難 (対義語:対称, 上位概念:非対称) 3
提案手法:LexSub - 解決方法:扱う情報ごとに空間を分ける - 分布の情報:元のベクトル空間 - 各意味的関係(対義語, 上位語, 部分):元のベクトル空間 から線形変換した
subspace 4
- 学習: - 変換行列 W を使い、各 subspace に変換 - 各関係を持つ単語セット
R で学習 - 類義語:単語ペアを近づける - 対義語:単語ペアを離す negative sampling 提案手法:各意味関係の subspace を学習 5 cos 距離 同じ subspace なので、同 じ変換行列 W syn を使う
- 上位語:非対称(✅ 🍎→果物, ❌ 果物→🍎) - 部分関係:非対称(✅ 🍁→🌲, ❌ 🌲→🍁)
negative sampling 片方 i は j に近づける (類義語 L syn ) 他方 j は i から離す (対義語 L ant ) 提案手法:各意味関係の subspace を学習 6
- 最終的な損失関数 各 subspace の 損失関数 提案手法:各意味関係の subspace を学習 7
事前訓練済み単語ベクトル行列 X と学 習過程の単語ベクトル行列 X’ の 二乗ノルム
実験:設定 - 内在的評価・外因的評価を行った - 内在的評価: - 類似度タスク(men3k, WS-353R) - 類義語・対義語(Simlex,
Simverb) - 上位語・下位語(Hyperlex, WBLESS, BIBLESS, BLESS, LEDS, EVAL, WEEDS) - 外因的評価:AllenNLP toolkit での入力層の埋め込みを 置き換える - 固有名詞抽出(NER) - 感情分類(SST) - 含意関係(SNLI) - 質問応答(SQuAD) - 言い換え検出(QQP) 8
実験:比較手法 - ベースライン:元のベクトルを直接調整 - Vanilla:GloVe - Wikipedia, Gigaword で事前訓練済み -
Retrofitting:近い単語を近づける訓練 - Counterfitting:Retrofitting + 対義語 - LEAR:上位語・下位語に対応 - 提案手法と共に以下の単語セットで調整 9
結果:内在的評価(類似度) - LexSub は元のベクトル空間を使用 - subspace を学習しつつ、訓練時の情報を保持 10
結果:内在的評価(類似度) - LexSub は元のベクトル空間を使用 - subspace を学習しつつ、訓練時の情報を保持 11 Counterfitting は対義語、LEAR
は上位語に対応した制約を加えて いるのが悪影響だった?
結果:内在的評価(上位語) - LexSub は上位語の subspace を使用 - 上位語特化の LEAR の性能を上回る
12
結果:外因的評価 微調整あり(Setup 1)、なし(Setup 2) - LexSub は元のベクトル空間を使用 - 多くのタスクでベースラインを上回る 13
結果:外因的評価 微調整あり(Setup 1)、なし(Setup 2) - 他の手法は Vanilla を下回る→ベクトル空間を分 けて意味関係を学習するのが効果的? 14
分析:3つの疑問について 1. LexSub の各 subspace は対応する意味関係を どの程度捉えているか? 2. LexSub の各
subspace は下流タスクにおける ニューラルなモデルで再現できるか? 3. LexSub の元の埋め込み空間は情報をどれだけ 保持しているか? 15
分析:各 subspace が 捉えている意味関係 - 各 query に対するそれぞれの周辺語 - それぞれの関係を捉えている?
16
分析:各 subspace が 捉えている意味関係 - Hyperlex, Simlex999 で 対義語、上位語、部分 関係を捉えるタスク
- LexSub の各 subspace がそれぞれ高性能 17
分析:各 subspace を 下流タスクのモデルで再現 - 類義語・対義語・上位語・部分関係を予測 - LexSub がベースラインを上回る→各subspace への線形変換をニューラルが再現?
18
分析:元々のベクトル空間 - 元のベクトルは情報を保持できているか? - Vanilla との二乗ノルム(=情報損失)を計算 - LexSub の損失はベースラインの 1/30
程度 →事前学習の情報を保持したまま各関係を学習 19
結論 - 単語の語彙・意味的な関係(類義語、上位語な ど)を単語ベクトル空間から変換した subspace で表現 - 元のベクトル空間の情報を保持したまま内在・外 因的評価で既存の手法を上回る 20