Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Learning Lexical Subspaces in a Distributi...
Search
Taichi Aida
September 16, 2021
Research
0
260
文献紹介:Learning Lexical Subspaces in a Distributional Vector Space
最先端NLP2021
Learning Lexical Subspaces in a Distributional Vector Space(TACL2020)
相田太一
都立大 小町研
Taichi Aida
September 16, 2021
Tweet
Share
More Decks by Taichi Aida
See All by Taichi Aida
文献紹介:A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
a1da4
1
190
YANS2024:目指せ国際会議!「ネットワーキングの極意(国際会議編)」
a1da4
0
75
言語処理学会30周年記念事業留学支援交流会@YANS2024:「学生のための短期留学」
a1da4
1
210
新入生向けチュートリアル:文献のサーベイv2
a1da4
10
8.2k
文献紹介:Isotropic Representation Can Improve Zero-Shot Cross-Lingual Transfer on Multilingual Language Models
a1da4
0
100
文献紹介:WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings
a1da4
1
140
文献紹介:On the Transformation of Latent Space in Fine-Tuned NLP Models
a1da4
0
46
新入生向けチュートリアル:文献のサーベイ
a1da4
0
340
文献紹介:Temporal Attention for Language Models
a1da4
0
260
Other Decks in Research
See All in Research
Weekly AI Agents News! 7月号 プロダクト/ニュースのアーカイブ
masatoto
0
140
LINEチャットボット「全力肯定彼氏くん(LuC4)」の 1年を振り返る
o_ob
0
2.2k
第60回名古屋CV・PRML勉強会:CVPR2024論文紹介(AM-RADIO)
naok615
0
220
Introducing Research Units of Matsuo-Iwasawa Laboratory
matsuolab
0
300
外積やロドリゲスの回転公式を利用した点群の回転
kentaitakura
1
580
Isotropy, Clusters, and Classifiers
hpprc
3
550
SSII2024 [OS1] 画像生成技術の発展: 過去10年の軌跡と未来への展望
ssii
PRO
3
1.9k
20240710_熊本県議会・熊本市議会_都市交通勉強会
trafficbrain
0
730
医療分野におけるLLMの現状と応用可能性について
kento1109
11
3.3k
20240918 交通くまもとーく 未来の鉄道網編(太田恒平)
trafficbrain
0
120
ニューラルネットワークの損失地形
joisino
PRO
32
13k
20240719_第2回熊本の交通を語る会
trafficbrain
0
460
Featured
See All Featured
Building Your Own Lightsaber
phodgson
102
6k
A designer walks into a library…
pauljervisheath
202
24k
Six Lessons from altMBA
skipperchong
26
3.4k
YesSQL, Process and Tooling at Scale
rocio
167
14k
Fireside Chat
paigeccino
32
3k
Unsuck your backbone
ammeep
668
57k
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
The Art of Programming - Codeland 2020
erikaheidi
51
13k
Typedesign – Prime Four
hannesfritz
39
2.3k
Side Projects
sachag
452
42k
Build The Right Thing And Hit Your Dates
maggiecrowley
31
2.3k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
7
580
Transcript
Learning Lexical Subspaces in a Distributional Vector Space Kushal Arora,
Aishik Chakraborty, Jackie C. K. Cheung TACL2020 相田太一 東京都立大学 小町研究室 最先端NLP
概要 - 単語の語彙・意味的な関係(類義語、上位語な ど)を単語ベクトル空間から変換した subspace で表現 - 元のベクトル空間の情報を保持したまま内在・外 因的評価で既存の手法を上回る 2
導入 - 問題点:分布仮説は対義語を扱えない →制約を加えて単語ベクトルを修正する研究 ✅ 指定した意味的関係を扱えるようになる ❌ 元のベクトルが持つ情報が失われる (→下流タスクでの性能低下) ❌
複数の関係を扱うのが困難 (対義語:対称, 上位概念:非対称) 3
提案手法:LexSub - 解決方法:扱う情報ごとに空間を分ける - 分布の情報:元のベクトル空間 - 各意味的関係(対義語, 上位語, 部分):元のベクトル空間 から線形変換した
subspace 4
- 学習: - 変換行列 W を使い、各 subspace に変換 - 各関係を持つ単語セット
R で学習 - 類義語:単語ペアを近づける - 対義語:単語ペアを離す negative sampling 提案手法:各意味関係の subspace を学習 5 cos 距離 同じ subspace なので、同 じ変換行列 W syn を使う
- 上位語:非対称(✅ 🍎→果物, ❌ 果物→🍎) - 部分関係:非対称(✅ 🍁→🌲, ❌ 🌲→🍁)
negative sampling 片方 i は j に近づける (類義語 L syn ) 他方 j は i から離す (対義語 L ant ) 提案手法:各意味関係の subspace を学習 6
- 最終的な損失関数 各 subspace の 損失関数 提案手法:各意味関係の subspace を学習 7
事前訓練済み単語ベクトル行列 X と学 習過程の単語ベクトル行列 X’ の 二乗ノルム
実験:設定 - 内在的評価・外因的評価を行った - 内在的評価: - 類似度タスク(men3k, WS-353R) - 類義語・対義語(Simlex,
Simverb) - 上位語・下位語(Hyperlex, WBLESS, BIBLESS, BLESS, LEDS, EVAL, WEEDS) - 外因的評価:AllenNLP toolkit での入力層の埋め込みを 置き換える - 固有名詞抽出(NER) - 感情分類(SST) - 含意関係(SNLI) - 質問応答(SQuAD) - 言い換え検出(QQP) 8
実験:比較手法 - ベースライン:元のベクトルを直接調整 - Vanilla:GloVe - Wikipedia, Gigaword で事前訓練済み -
Retrofitting:近い単語を近づける訓練 - Counterfitting:Retrofitting + 対義語 - LEAR:上位語・下位語に対応 - 提案手法と共に以下の単語セットで調整 9
結果:内在的評価(類似度) - LexSub は元のベクトル空間を使用 - subspace を学習しつつ、訓練時の情報を保持 10
結果:内在的評価(類似度) - LexSub は元のベクトル空間を使用 - subspace を学習しつつ、訓練時の情報を保持 11 Counterfitting は対義語、LEAR
は上位語に対応した制約を加えて いるのが悪影響だった?
結果:内在的評価(上位語) - LexSub は上位語の subspace を使用 - 上位語特化の LEAR の性能を上回る
12
結果:外因的評価 微調整あり(Setup 1)、なし(Setup 2) - LexSub は元のベクトル空間を使用 - 多くのタスクでベースラインを上回る 13
結果:外因的評価 微調整あり(Setup 1)、なし(Setup 2) - 他の手法は Vanilla を下回る→ベクトル空間を分 けて意味関係を学習するのが効果的? 14
分析:3つの疑問について 1. LexSub の各 subspace は対応する意味関係を どの程度捉えているか? 2. LexSub の各
subspace は下流タスクにおける ニューラルなモデルで再現できるか? 3. LexSub の元の埋め込み空間は情報をどれだけ 保持しているか? 15
分析:各 subspace が 捉えている意味関係 - 各 query に対するそれぞれの周辺語 - それぞれの関係を捉えている?
16
分析:各 subspace が 捉えている意味関係 - Hyperlex, Simlex999 で 対義語、上位語、部分 関係を捉えるタスク
- LexSub の各 subspace がそれぞれ高性能 17
分析:各 subspace を 下流タスクのモデルで再現 - 類義語・対義語・上位語・部分関係を予測 - LexSub がベースラインを上回る→各subspace への線形変換をニューラルが再現?
18
分析:元々のベクトル空間 - 元のベクトルは情報を保持できているか? - Vanilla との二乗ノルム(=情報損失)を計算 - LexSub の損失はベースラインの 1/30
程度 →事前学習の情報を保持したまま各関係を学習 19
結論 - 単語の語彙・意味的な関係(類義語、上位語な ど)を単語ベクトル空間から変換した subspace で表現 - 元のベクトル空間の情報を保持したまま内在・外 因的評価で既存の手法を上回る 20