Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Discovering Universal Geometry in Embeddings wi...
Search
Momose Oyama
December 21, 2023
Research
1.2k
2
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Discovering Universal Geometry in Embeddings with ICA
2023年12月20日 NLPコロキウム
Momose Oyama
December 21, 2023
Transcript
23 slides
Discovering Universal Geometry in Embeddings with ICA 2023.12.20 NLPコロキウム Hiroaki
Yamagiwa*, Momose Oyama*, Hidetoshi Shimodaira EMNLP2023
⼤⼭百々勢 (Oyama Momose) l 京都⼤学 下平研究室 修⼠2年 (D進の予定) l 埋め込み表現の研究
◦ Norm of Word Embedding Encodes Information Gain [Oyama, Yokoi, Shimodaira, EMNLP 2023] [Paper] ◦ Discovering Universal Geometry in Embeddings with ICA [Yamagiwa*, Oyama*, Shimodaira, EMNLP 2023] [Paper] l 国内のコミュニティ ◦ NLP, YANS ◦ IBIS, 統計連合⼤会 2
道具の紹介︓ Independent Component Analysis (ICA)
ICAは独⽴な軸を⾒つける変換 𝐗𝐁 = 𝐒 ⼊⼒の⾏列: (𝑛, 𝑑) 変換後の⾏列: (𝑛, 𝑑)
𝑑個の列が互いに独⽴ 変換⾏列: (𝑑, 𝑑) 4
ICAは独⽴な軸を⾒つける変換 𝐗𝐁 = 𝐒 ⼊⼒の⾏列: (𝑛, 𝑑) 変換⾏列: (𝑑, 𝑑)
𝐗 (⼊⼒) 𝐒 (出⼒) ⾳声 𝑑箇所のマイクが拾った⼈々の話し声 𝑛秒分 𝑑個に分離した話し声のデータ 𝑛秒分 5 変換後の⾏列: (𝑛, 𝑑) 𝑑個の列が互いに独⽴
ICAは独⽴な軸を⾒つける変換 𝐗 (⼊⼒) 𝐒 (出⼒) ⾳声 𝑑箇所のマイクが拾った⼈々の話し声 𝑛秒分 𝑑個に分離した話し声のデータ 𝑛秒分
単語埋め込み 𝑑個の次元に分散して表現された 𝑛単語分の意味情報 𝑑個の独⽴な意味情報に分離された 𝑛単語の表現 (これから⾒ていきます) 𝐗𝐁 = 𝐒 ⼊⼒の⾏列: (𝑛, 𝑑) 変換⾏列: (𝑑, 𝑑) 6 変換後の⾏列: (𝑛, 𝑑) 𝑑個の列が互いに独⽴
単語埋め込みをICAで分析
単語ベクトルをヒートマップで可視化 l Skip-gram with Negative Samplingで学習した 単語ベクトル l ヒートマップ ◦
⾏: 単語ベクトル ◦ 列: 次元 (5/300) l 各要素の⼤⼩は解釈できない ◦ 「分散」表現なので ⾃然なこと 8
PCAをしても解釈性に変化なし 9
ICA後は各次元が持つ意味を解釈できる l 16軸: ⾷べ物 (dishes, …) l 26軸: ⾞ (cars,
…) l 35軸: 映画 (film, …) l 34軸: イタリア (italian, …) l 56軸: ⽇本 (japanese, …) 10
独⽴成分は「尖って」いて解釈可能 l 2軸に沿った散布図 ◦ イタリア軸と⾞軸 ◦ ⽇本軸と映画軸 l 加法構成性 ◦
Ferrari ≈ italian + cars ◦ kurosawa ≈ japanese + film l 300次元よりも⼩さな部分 空間で単語の意味を表現 11
ICAの結果の普遍性
まず、英語の埋め込みを可視化 英語 13
ICA: 異なる⾔語の埋め込みで形と意味が共通 14
PCA: 共通の性質を⾒つけられない 15
ICA: モデルやドメインの違いを超えた普遍性 16
PCA: やはりうまくいかない 17
なぜPCAではなくICAが うまくいくのか
PCAが捉えきれない⾼次情報をICAは捉える 𝐒 = 𝐗𝐀𝐑 ICA が独⽴な軸を⾒つける⼿順 1. ⽩⾊化 (PCA): 各軸を無相関にする
2. 直交変換: 各軸の⾮ガウス性を最⼤化する 19
PCAが捉えきれない⾮ガウス性をICAは捉える ICA が独⽴な軸を⾒つける⼿順 1. ⽩⾊化 (PCA): 各軸を無相関にする 2. 直交変換: 各軸の⾮ガウス性を最⼤化する
lどれだけガウス分布 から逸脱しているか l例えば歪度や尖度 で測定できる 𝐒 = 𝐗𝐀𝐑 20
PCAが捉えきれない⾮ガウス性をICAは捉える ICA = PCA + 直交変換 l PCA: 「尖った形状」を⾒つけられない l
ICA: 「尖った形状」を⾒つけられる 𝐒 = 𝐗𝐀𝐑 21
まとめ
まとめ l ICAを使って 埋め込みを分析した l わかったこと 1. 埋め込みの独⽴成分は 「尖って」いて解釈可能 2.
⾔語・モデル・ドメインの 違いを超えて普遍的 l PCAだと上⼿くいかない 23
More Decks by Momose Oyama
See All by Momose Oyama
独立成分分析を用いた埋め込み表現の視覚的な理解
momoseoyama
6
2.9k
Other Decks in Research
See All in Research
超効率化への挑戦:1bit LLMの現状と展望
yumaichikawa
1
1k
進化?迷走?CasualConc ファミリーアプリの現在地 @ 英語コーパス学会 2026
casualconc
0
160
AI創薬の壁
kanojikajino
1
1.3k
Méthane 2030 : Développer des solutions de réduction des émissions de méthane entérique : 1ers résultats
institutdelelevage
PRO
0
130
幾何学的深層学習入門 ~3次元構造と対称性を学習するニューラルネットワーク~
taniai
3
1.1k
論文読み会 SNLP2026 Tau2-Bench: Evaluating Conversational Agents in a Dual-Control Environment
s_mizuki_nlp
0
350
HackSick vol.7 LT資料【LLMアーキテクチャ入門・事前学習時の躓き所解説】 スパースなAttention・状態空間モデル
rikkabotan7
0
250
論文紹介:Doc-to-LoRA: Learning to Instantly Internalize Contexts
yukako_nakano
0
240
SPACE 2026 - Renforcer l’attractivité des métiers des productions animales dans les établissements d'enseignement agricole
institutdelelevage
PRO
0
120
[Research Paper Analysis] Deep Learning - SigLIP2
auranightsky
0
180
OWASP AISVS - C7
shiell
2
870
就労支援の現場での生成AI活用
enochan
0
220
Featured
See All Featured
Leveraging Curiosity to Care for An Aging Population
cassininazir
1
570
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
How to Build an AI Search Optimization Roadmap - Criteria and Steps to Take #SEOIRL
aleyda
1
2.3k
HDC tutorial
michielstock
2
1k
The AI Search Optimization Roadmap by Aleyda Solis
aleyda
2
6.5k
SERP Conf. Vienna - Web Accessibility: Optimizing for Inclusivity and SEO
sarafernandez
2
1.7k
WCS-LA-2024
lcolladotor
0
1k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
47
8.4k
Abbi's Birthday
coloredviolet
5
11k
We Have a Design System, Now What?
morganepeng
55
8.4k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
35
2.6k
AI: The stuff that nobody shows you
jnunemaker
PRO
12
1.3k