Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Fake it Till You Make it: Self-Supervised ...
Search
Taichi Aida
May 31, 2021
Research
1
91
文献紹介:Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks
Taichi Aida
May 31, 2021
Tweet
Share
More Decks by Taichi Aida
See All by Taichi Aida
PhD Defence: Considering Temporal and Contextual Information for Lexical Semantic Change Detection
a1da4
1
210
文献紹介:A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
a1da4
1
300
YANS2024:目指せ国際会議!「ネットワーキングの極意(国際会議編)」
a1da4
0
230
言語処理学会30周年記念事業留学支援交流会@YANS2024:「学生のための短期留学」
a1da4
1
360
新入生向けチュートリアル:文献のサーベイv2
a1da4
15
10k
文献紹介:Isotropic Representation Can Improve Zero-Shot Cross-Lingual Transfer on Multilingual Language Models
a1da4
0
180
文献紹介:WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings
a1da4
1
290
文献紹介:On the Transformation of Latent Space in Fine-Tuned NLP Models
a1da4
0
110
新入生向けチュートリアル:文献のサーベイ
a1da4
0
490
Other Decks in Research
See All in Research
数理最適化に基づく制御
mickey_kubo
6
720
日本語新聞記事を用いた大規模言語モデルの暗記定量化 / LLMC2025
upura
0
160
Minimax and Bayes Optimal Best-arm Identification: Adaptive Experimental Design for Treatment Choice
masakat0
0
170
SSII2025 [SS1] レンズレスカメラ
ssii
PRO
2
1k
snlp2025_prevent_llm_spikes
takase
0
160
A scalable, annual aboveground biomass product for monitoring carbon impacts of ecosystem restoration projects
satai
3
220
数理最適化と機械学習の融合
mickey_kubo
16
9.2k
PhD Defense 2025: Visual Understanding of Human Hands in Interactions
tkhkaeio
1
180
Cross-Media Information Spaces and Architectures
signer
PRO
0
240
一人称視点映像解析の最先端(MIRU2025 チュートリアル)
takumayagi
6
3.4k
AlphaEarth Foundations: An embedding field model for accurate and efficient global mapping from sparse label data
satai
1
180
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
490
Featured
See All Featured
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Into the Great Unknown - MozCon
thekraken
40
2k
We Have a Design System, Now What?
morganepeng
53
7.8k
Side Projects
sachag
455
43k
GitHub's CSS Performance
jonrohan
1032
460k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
Done Done
chrislema
185
16k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
580
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
61k
For a Future-Friendly Web
brad_frost
179
9.9k
How to train your dragon (web standard)
notwaldorf
96
6.2k
Transcript
Fake it Till You Make it: Self-Supervised Semantic Shifts for
Monolingual Word Embedding Tasks Maurício Gruppi, Sibel Adalı, Pin-Yu Chen AAAI2021 論文紹介
導入 - 単語の意味変化を捉えるタスク - awful:印象深い(~1800年)→好ましくない(最近) - model:製品デザイン(工業)、数理モデル(科学) - 単語分散表現を用いて検出 -
各文書で独立に学習し、回転させて1つの空間に 2
問題点 - 教師なし学習 - 正解データ(意味が変化した/変化しない単語)がないた め、対象の文書に対して単語分散表現だけを使う →意味変化の有無を分類問題として捉え、自己教師ありの手法 を提案 - 全ての単語を用いて回転(Global
alignment) - 意味変化した単語が使われることで、各ベクトル空間の特 徴を捉えた対応付けができない - 各文書で意味が変化しない単語(landmark)が良い →学習した分類器で landmark だけを抽出 3
本論文での解決策 - 教師なし学習 - 正解データ(意味が変化した/変化しない単語)がないた め、対象の文書に対して単語分散表現だけを使う →意味変化の有無を分類問題として捉え、訓練データを擬似的に 作成する自己教師ありの手法を提案 - 全ての単語を用いて回転(Global
alignment) - 意味変化した単語が使われることで、各ベクトル空間の特 徴を捉えた対応付けができない - 各文書で意味が変化しない単語(landmark)が良い →学習した分類器で landmark だけを抽出し、回転させる 4
自己教師あり学習 (self-supervised learning) - 正解データがない・少ない時に、教師ありのタスク を擬似的に作りモデルを学習する手法 - 画像処理 - 画像を回転させ、似ているデータは近い埋め込み表現
- 事前学習済み言語モデル(BERT, ALBERTなど) - 文中の単語をマスクし、予測する 5
提案手法:S4-D 自己教師あり学習で分類器を獲得 - 自己教師あり学習(今回は分類問題) - 意味変化しない:回転行列の学習に使う単語(landmark) から抽出 - 意味変化する:回転行列の学習に使わない単語 (non-landmark)ベクトルに別の
non-landmark の単語 ベクトルを足して意味変化した単語を生成する - 分類器 - 1層100ユニット、ReLU関数とsigmoid関数から構成 - 入力:結合した両時期の単語ベクトル - 出力:意味変化の有無 6
提案手法:S4-A 分類器で landmark を獲得して回転 - 分類器を学習する S4-D と大体は同じ - 回転行列の計算に使う
landmark を更新 - S4-D で学習している分類器を使い、全ての単語から意味 変化の有無を予測 - 意味変化しないと予測された単語を landmark に - 最終的に得られた landmark で両ベクトル空間を 回転して対応付ける 7
実験 British vs. American English - 意味変化の検出は時期間で調査するのが多い が、ここでは時期を揃えて地域の違いを分析 - 回転行列の計算に使う
landmark の選び方 - Global:全ての単語を使う - Top-5%, 10%:頻度の高い単語の上位5%, 10% - Bot-5%, 10%:頻度の低い単語の上位5%, 10% - S4-A(提案手法):分類器に基づいて更新する 8
実験 British vs. American English - 意味変化の検出は時期間で調査するのが多い が、ここでは時期を揃えて地域の違いを分析 - 意味変化の予測方法
- COS:余弦類似度。閾値は 0.3, 0.5, 0.7 とした - S4-D(提案手法):学習した分類器で予測 - Noisy-Pairs:言語間の単語ベクトルを対応付ける。EM アルゴリズムで landmark を選定し、確率に基づいて意味 変化の有無を予測する。 9
結果 British vs. American English - 提案手法である S4-D が安定して高い性能 -
低頻度語が悪さをしている可能性がある 10
結果 British vs. American English - 余弦類似度による予測は一貫して悪い - 提案手法 S4-A
で landmark を選ぶと性能向上 11
結果 British vs. American English - 既存手法に基づく Noisy-Pairs が意味変化したと 予測したのは1単語のみ(Precision
= 1) 12
実験 4つの言語で意味変化の有無を分類 - 2つの時期間で通時的な変化を検出する (SemEval-2020 Task 1) - 英語、ドイツ語、スウェーデン語、ラテン語で性能 を評価する
- 回転行列の計算に使う landmark の選び方 - S4-A(提案手法) :分類器で予測して更新 - Noise-Aware:EM アルゴリズムで予測 - Top/Bot 5%, 10%:頻度の上位/下位5%, 10% - Global:全部使う - 余弦類似度に基づいて分類した 13
結果 4つの言語で意味変化の有無を分類 - 提案手法 S4-A が英語・ドイツ語において最高性 能を発揮した 14
実験 人工知能分野 vs. 物理 - arxiv で AI と物理の文書を比較 -
各手法で意味変化の度合い(余弦類似度の低い 順)で単語を順位付けし、手法間でスピアマンの 順位相関を計算 - 回転行列の計算に使う landmark を選ぶ手法 - Global - Noise-Aware - S4-A(提案手法) 15
結果 意味変化検出の傾向 - 既存手法の相関に比べ、提案手法と他2つの手 法はそこまで相関が高くない→既存手法が見落 としている意味変化を検出できるのでは? 16
結果 各手法が予測した単語 - 提案手法 S4-A は変化を説明しやすい単語を予 測してくれている - mass:物理的質量(物理)、確率質量(AI) 17
結論 - 正解データの不足による教師なし学習、回転行列 の学習に使う意味が変化しない単語選択という問 題を解決するため、自己教師ありで分類器を学習 する手法を提案 - 学習した分類器は高い性能を発揮し、分類器を 使って意味が変化しない単語を選ぶと適切に文 書間のベクトル空間を対応付けできる
18
19