Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Unsupervised Word Polysemy Quantification with Multiresolution Grids of Contextual Embeddings
Search
Taichi Aida
July 23, 2021
Research
0
69
文献紹介:Unsupervised Word Polysemy Quantification with Multiresolution Grids of Contextual Embeddings
Taichi Aida
July 23, 2021
Tweet
Share
More Decks by Taichi Aida
See All by Taichi Aida
新入生向けチュートリアル:文献のサーベイv2
a1da4
9
7.6k
文献紹介:Isotropic Representation Can Improve Zero-Shot Cross-Lingual Transfer on Multilingual Language Models
a1da4
0
77
文献紹介:WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings
a1da4
1
100
文献紹介:On the Transformation of Latent Space in Fine-Tuned NLP Models
a1da4
0
38
新入生向けチュートリアル:文献のサーベイ
a1da4
0
330
文献紹介:Temporal Attention for Language Models
a1da4
0
220
文献紹介:Dynamic Contextualized Word Embeddings
a1da4
2
320
文献紹介:Learning Lexical Subspaces in a Distributional Vector Space
a1da4
0
250
新入生向けチュートリアル:tmux
a1da4
0
220
Other Decks in Research
See All in Research
SSII2024 [OS3] 企業における基盤モデル開発の実際
ssii
PRO
0
420
言語間転移学習で大規模言語モデルを賢くする
ikuyamada
8
4.6k
大規模言語モデルを用いた その場での要約に基づく レビュー探索インタフェース
yamamotolab
0
190
ランサーズエージェント_フリーランスエンジニアの年収・キャリアの実態調査2024
lancers_pr
0
260
SSII2024 [OS3] 基盤モデル(オープニング)
ssii
PRO
0
230
CARA MEMBUKA VIDEO DEWASA DI INDONESIA
bloglangit
0
260
DiscordにおけるキャラクターIPを活用したUGCコンテンツ生成サービスの ラピッドプロトタイピング ~国際ハッカソンでの事例研究
o_ob
0
120
SSII2024 [OS1] 画像生成技術の発展: 過去10年の軌跡と未来への展望
ssii
PRO
3
1.4k
仮説検定とP値
shuntaros
6
6.9k
SSII2024 [OS1] 研究紹介100連発(オープンニング)
ssii
PRO
0
370
Engineering LaCAM∗: Towards Real-Time, Large-Scale, and Near-Optimal Multi-Agent Pathfinding
kei18
0
340
点群処理の基礎: 平面の検出と、その上下の点の取り出しについて
kentaitakura
0
200
Featured
See All Featured
Designing the Hi-DPI Web
ddemaree
276
33k
Unsuck your backbone
ammeep
664
57k
Why Our Code Smells
bkeepers
PRO
331
56k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
359
22k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
73
15k
Imperfection Machines: The Place of Print at Facebook
scottboms
261
12k
Become a Pro
speakerdeck
PRO
14
4.7k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
323
21k
How To Stay Up To Date on Web Technology
chriscoyier
784
250k
Git: the NoSQL Database
bkeepers
PRO
423
64k
Writing Fast Ruby
sferik
623
60k
Atom: Resistance is Futile
akmur
260
25k
Transcript
Unsupervised Word Polysemy Quantification with Multiresolution Grids of Contextual Embeddings
Christos Xypolopoulos, Antoine Tixier, Michalis Vazirgiannis EACL2021 論文紹介
導入 - 単語の多義語の度合いを予測する手法を提案 - 単語の順位付けタスクで6種類の評価指標におい て6種類の人手セットとの相関を示した 2
手法 - 仮定:文脈あり単語ベクトルが空間を占める大き さは多義語の度合いを示す - 手法: 1. D次元に圧縮して格子状に線を引く 2. 単語ごとに格子を占める比率を計算
3. 多義語の度合いを示すスコアを計算 3 多義語の度合い word 1 > word 2
手法 1. D次元に圧縮し、格子状に線を引く 4
手法 2. 単語ごとに格子を占める比率を計算 5 word 1, l = 1 の場合:
手法 2. 単語ごとに格子を占める比率を計算 6 word 1, l = 2 の場合:
word 1, l = 3 の場合:
手法 3. 多義語の度合いを示すスコアを計算 7 格子が粗くなるほどペナルティを与える
実験:多義語の度合いの順位付け - タスク:対象単語について多義語の度合いをラン キング - データ:English Wikipedia dump - 評価対象の単語選択
- English Wikipedia で頻度の高い上位2000単語を選択 - 3000文以上ある単語(2000→1822単語)を残す 8
実験:多義語の度合いの順位付け - 比較手法(Ground Truth) - WordNet:synset 数を多義語の度合いとする - WordNet-Reduced:WordNet の
synset 数を少なくした もの。synset 数を多義語の度合いとする - WordNet-Domains:WordNet に自動でドメインのラベル を割り振ったもの。ドメイン数が多義語の度合い 9
実験:多義語の度合いの順位付け - 比較手法(Ground Truth) - OntoNotes:様々なメディアのデータから構築。WordNet をまとめた inventory 数が多義語の度合い -
Oxford:Oxford Dictionary にある意味の数を数える - Wikipedia:「曖昧さ回避」にあるカテゴリの数を多義語の 度合いとした - 比較手法(Baseline) - frequency:高頻度ほど多義語 - random:対数正規分布に従いランダムに並べ替える 10
実験:多義語の度合いの順位付け - 提案手法 - 事前訓練済み ELMo の最終層から単語ベクトルを獲得 - D:PCA でベクトルの次元を圧縮(1024→2~20)
- 格子の線の数 L:2~19 11
実験:多義語の度合いの順位付け - 評価指標:6種類の指標で評価 - cosine similarity - Spearman’s rho -
Kendall’s tau - precision@k - Normalized Discounted Gain (NDCG): - Rank Biased Overlap (RBO): 12
結果:多義語の度合いの順位付け - Ground Truth(cos, NDCG は特に Wiki)との相 関が高く、2つの baseline も超えている
- その他の指標で評価した場合も同様 13
議論:パラメータ(縦軸:線の数 L, 横軸: 圧縮後の次元 D) - D=2~4, L=3,4~8 くらいで良い性能になる 14
線の数 L 圧縮後の次元 D
応用:異なる語義の抽出 - 同じ単語でも異なる格子のマスから取り出せば、 異なる語義の文を抽出できる - count:固有名詞, 番号, 数え上げ - live:住む,
ライブ - bank:銀行, 土手 15
結論 - 圧縮したベクトル空間に線を引いて、格子を占め る比率から単語の多義語の度合いを計算 - 単語の順位づけタスクで人手との相関を示す (クラスタリングと比較して欲しい) 16
手法:アイデア - 画像処理における pyramid matching と同じ 17 Beyond Bags of
Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories. (Lazebnik+2006)
vs. クラスタリング - 文脈あり単語ベクトルも一様ではない - クラスタリングは空間に対して均等に分割をせず (密度ベース)、外れ値のクラスタも - クラスタ数=多義語の度合い は信頼できない
18 How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings (Ethayarajh2019)
実験:多義語の度合いの順位付け - 対象の1822単語のうち、Ground Truth で使えた 単語数 19
議論:単語の語義ごとに 意味の近い単語を抽出 - 単語の各語義が所属するマスの中で高頻度の単 語を取り出す - metal:鉱物, オリンピック, 音楽 20