Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Discovering Universal Geometry in Embeddings wi...
Search
Momose Oyama
December 21, 2023
Research
2
1k
Discovering Universal Geometry in Embeddings with ICA
2023年12月20日 NLPコロキウム
Momose Oyama
December 21, 2023
Tweet
Share
More Decks by Momose Oyama
See All by Momose Oyama
独立成分分析を用いた埋め込み表現の視覚的な理解
momoseoyama
6
1.9k
Other Decks in Research
See All in Research
「どう育てるか」より「どう働きたいか」〜スクラムマスターの最初の一歩〜
hirakawa51
0
840
とあるSREの博士「過程」 / A Certain SRE’s Ph.D. Journey
yuukit
9
4.2k
SNLP2025:Can Language Models Reason about Individualistic Human Values and Preferences?
yukizenimoto
0
110
GPUを利用したStein Particle Filterによる点群6自由度モンテカルロSLAM
takuminakao
0
210
Galileo: Learning Global & Local Features of Many Remote Sensing Modalities
satai
3
220
Agentic AIとMCPを利用したサービス作成入門
mickey_kubo
0
490
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
240
AIグラフィックデザインの進化:断片から統合(One Piece)へ / From Fragment to One Piece: A Survey on AI-Driven Graphic Design
shunk031
0
400
最適化と機械学習による問題解決
mickey_kubo
0
170
2025年度人工知能学会全国大会チュートリアル講演「深層基盤モデルの数理」
taiji_suzuki
25
18k
まずはここから:Overleaf共同執筆・CopilotでAIコーディング入門・Codespacesで独立環境
matsui_528
2
450
NLP Colloquium
junokim
1
200
Featured
See All Featured
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
It's Worth the Effort
3n
187
28k
4 Signs Your Business is Dying
shpigford
184
22k
The Invisible Side of Design
smashingmag
301
51k
Designing for humans not robots
tammielis
253
25k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Become a Pro
speakerdeck
PRO
29
5.5k
Agile that works and the tools we love
rasmusluckow
330
21k
Automating Front-end Workflow
addyosmani
1370
200k
GraphQLとの向き合い方2022年版
quramy
49
14k
Transcript
Discovering Universal Geometry in Embeddings with ICA 2023.12.20 NLPコロキウム Hiroaki
Yamagiwa*, Momose Oyama*, Hidetoshi Shimodaira EMNLP2023
⼤⼭百々勢 (Oyama Momose) l 京都⼤学 下平研究室 修⼠2年 (D進の予定) l 埋め込み表現の研究
◦ Norm of Word Embedding Encodes Information Gain [Oyama, Yokoi, Shimodaira, EMNLP 2023] [Paper] ◦ Discovering Universal Geometry in Embeddings with ICA [Yamagiwa*, Oyama*, Shimodaira, EMNLP 2023] [Paper] l 国内のコミュニティ ◦ NLP, YANS ◦ IBIS, 統計連合⼤会 2
道具の紹介︓ Independent Component Analysis (ICA)
ICAは独⽴な軸を⾒つける変換 𝐗𝐁 = 𝐒 ⼊⼒の⾏列: (𝑛, 𝑑) 変換後の⾏列: (𝑛, 𝑑)
𝑑個の列が互いに独⽴ 変換⾏列: (𝑑, 𝑑) 4
ICAは独⽴な軸を⾒つける変換 𝐗𝐁 = 𝐒 ⼊⼒の⾏列: (𝑛, 𝑑) 変換⾏列: (𝑑, 𝑑)
𝐗 (⼊⼒) 𝐒 (出⼒) ⾳声 𝑑箇所のマイクが拾った⼈々の話し声 𝑛秒分 𝑑個に分離した話し声のデータ 𝑛秒分 5 変換後の⾏列: (𝑛, 𝑑) 𝑑個の列が互いに独⽴
ICAは独⽴な軸を⾒つける変換 𝐗 (⼊⼒) 𝐒 (出⼒) ⾳声 𝑑箇所のマイクが拾った⼈々の話し声 𝑛秒分 𝑑個に分離した話し声のデータ 𝑛秒分
単語埋め込み 𝑑個の次元に分散して表現された 𝑛単語分の意味情報 𝑑個の独⽴な意味情報に分離された 𝑛単語の表現 (これから⾒ていきます) 𝐗𝐁 = 𝐒 ⼊⼒の⾏列: (𝑛, 𝑑) 変換⾏列: (𝑑, 𝑑) 6 変換後の⾏列: (𝑛, 𝑑) 𝑑個の列が互いに独⽴
単語埋め込みをICAで分析
単語ベクトルをヒートマップで可視化 l Skip-gram with Negative Samplingで学習した 単語ベクトル l ヒートマップ ◦
⾏: 単語ベクトル ◦ 列: 次元 (5/300) l 各要素の⼤⼩は解釈できない ◦ 「分散」表現なので ⾃然なこと 8
PCAをしても解釈性に変化なし 9
ICA後は各次元が持つ意味を解釈できる l 16軸: ⾷べ物 (dishes, …) l 26軸: ⾞ (cars,
…) l 35軸: 映画 (film, …) l 34軸: イタリア (italian, …) l 56軸: ⽇本 (japanese, …) 10
独⽴成分は「尖って」いて解釈可能 l 2軸に沿った散布図 ◦ イタリア軸と⾞軸 ◦ ⽇本軸と映画軸 l 加法構成性 ◦
Ferrari ≈ italian + cars ◦ kurosawa ≈ japanese + film l 300次元よりも⼩さな部分 空間で単語の意味を表現 11
ICAの結果の普遍性
まず、英語の埋め込みを可視化 英語 13
ICA: 異なる⾔語の埋め込みで形と意味が共通 14
PCA: 共通の性質を⾒つけられない 15
ICA: モデルやドメインの違いを超えた普遍性 16
PCA: やはりうまくいかない 17
なぜPCAではなくICAが うまくいくのか
PCAが捉えきれない⾼次情報をICAは捉える 𝐒 = 𝐗𝐀𝐑 ICA が独⽴な軸を⾒つける⼿順 1. ⽩⾊化 (PCA): 各軸を無相関にする
2. 直交変換: 各軸の⾮ガウス性を最⼤化する 19
PCAが捉えきれない⾮ガウス性をICAは捉える ICA が独⽴な軸を⾒つける⼿順 1. ⽩⾊化 (PCA): 各軸を無相関にする 2. 直交変換: 各軸の⾮ガウス性を最⼤化する
lどれだけガウス分布 から逸脱しているか l例えば歪度や尖度 で測定できる 𝐒 = 𝐗𝐀𝐑 20
PCAが捉えきれない⾮ガウス性をICAは捉える ICA = PCA + 直交変換 l PCA: 「尖った形状」を⾒つけられない l
ICA: 「尖った形状」を⾒つけられる 𝐒 = 𝐗𝐀𝐑 21
まとめ
まとめ l ICAを使って 埋め込みを分析した l わかったこと 1. 埋め込みの独⽴成分は 「尖って」いて解釈可能 2.
⾔語・モデル・ドメインの 違いを超えて普遍的 l PCAだと上⼿くいかない 23