Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
What Are You Token About? Dense Retrieval as Di...
Search
Ryokan RI
August 19, 2023
Research
0
560
What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary
2023 第15回最先端NLP勉強会
Ryokan RI
August 19, 2023
Tweet
Share
More Decks by Ryokan RI
See All by Ryokan RI
Language is primarily a tool for communication rather than thought
ryou0634
4
630
マルチリンガルな言語モデル入門:これまでとこれから
ryou0634
4
3.5k
注意機構を用いた言語創発ゲーム
ryou0634
0
120
人工言語を使った事前訓練:言語間転移が可能なエンコーダの持っている知識とは何か?
ryou0634
0
630
MIROSTAT で意外さを コントロールした文章生成
ryou0634
1
600
Other Decks in Research
See All in Research
ブラックボックス機械学習モデルの判断根拠を説明する技術
yuyay
0
210
JMED-LLM: 日本語医療LLM評価データセットの公開
fta98
4
980
CVPR2024論文紹介:Segmentation
hinako0123
0
120
Online Nonstationary and Nonlinear Bandits with Recursive Weighted Gaussian Process
monochromegane
0
190
日本語医療LLM評価ベンチマークの構築と性能分析
fta98
3
390
Active Adaptive Experimental Design for Treatment Effect Estimation with Covariate Choices
masakat0
0
170
MIRU2024_招待講演_RALF_in_CVPR2024
udonda
1
320
クラウドソーシングによる学習データ作成と品質管理(セキュリティキャンプ2024全国大会D2講義資料)
takumi1001
0
170
Matching 2D Images in 3D: Metric Relative Pose from Metric Correspondences
sgk
0
250
SSII2024 [OS3] 基盤モデル(オープニング)
ssii
PRO
0
320
Harnessing the Power of Vicinity-Informed Analysis for Classification under Covariate Shift
nanofi
3
300
3次元点群の分類における評価指標について
kentaitakura
0
110
Featured
See All Featured
Designing Experiences People Love
moore
138
23k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
5
480
It's Worth the Effort
3n
182
27k
Navigating Team Friction
lara
183
13k
YesSQL, Process and Tooling at Scale
rocio
167
14k
Building an army of robots
kneath
302
42k
Designing on Purpose - Digital PM Summit 2013
jponch
114
6.8k
Optimizing for Happiness
mojombo
375
69k
Principles of Awesome APIs and How to Build Them.
keavy
125
16k
Six Lessons from altMBA
skipperchong
26
3.3k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
26
1.9k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
166
48k
Transcript
Ori Ram, Liat Bezalel, Adi Zicher, Yonatan Belinkov, Jonathan Berant,
Amir Globerson (ACL 2023) ࠷ઌ NLP ษڧձ 2023 ಡΉਓɿཥ ྇פʢLINEגࣜձࣾʣ What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary
- ີϕΫτϧݕࡧͷϕΫτϧΛޠኮۭؒʹࣹӨͯ͠ղऍ͢Δ ख๏ΛఏҊ - ͦͷख๏ͰີϕΫτϧؚ͕ΉใΛੳ - ີϕΫτϧ͕ॏཁ୯ޠͷใΛ٫ͯ͠͠·͏ݱΛൃݟ ͠ɺͦΕΛվળ͢Δख๏ΛఏҊ จͷ֓ཁ 2
എܠ ϕΫτϧݕࡧʹ͍ͭͯ 3
- ີϕΫτϧݕࡧͷϕΫτϧΛޠኮۭؒʹࣹӨͯ͠ղऍ͢Δ ख๏ΛఏҊ - ͦͷख๏ͰີϕΫτϧؚ͕ΉใΛੳ - ີϕΫτϧ͕ॏཁ୯ޠͷใΛ٫ͯ͠͠·͏ݱΛൃݟ ͠ɺͦΕΛվળ͢Δख๏ΛఏҊ จͷ֓ཁ 4
⾚⽯⼭脈 ⽇本 2番⽬ ⾼ 標⾼(3193m) 誇 北岳 。 Query ͕༩͑ΒΕɺPassage
ू߹͔Βؔ࿈͢ΔจॻΛऔಘ͢Δɻ ݚڀʹ͓͚Δݕࡧ ݕࡧγεςϜ ⽇本 ⼆番⽬ ⾼ ⼭ 何? 5
Query ͱ Passage Λ࿈ଓີϕΫτϧʹม͠ɺ ྨࣅݕࡧʹΑͬͯ݁ՌΛऔಘ͢Δɻ ີϕΫτϧݕࡧ Dense (Vector) Retrieval Τϯίʔμ
⽇本 ⼆番⽬ ⾼ ⼭ 何? Τϯίʔμ ྨࣅݕࡧ 6
ີϕΫτϧݕࡧͷදख๏ Dense Passage Retrieval (DPR; Karpukhin et al., 2020) Transformer
[CLS] ⽇本 ⼆ ? … [SEP] ϓʔϦϯά ϕΫτϧมʹ BERT ͳͲͷࣄલֶशࡁΈΤϯίʔμΛ༻͍Δɻ ͦͯ͠ݕࡧλεΫ͚ʹϑΝΠϯνϡʔχϯάΛ͢Δɻ 7
ϑΝΠϯνϡʔχϯάʹ in-batch negative Λ༻͍Δɻ ີϕΫτϧݕࡧͷදख๏ Dense Passage Retrieval (DPR; Karpukhin
et al., 2020) q1 q2 q3 p1 p2 p3 ᶃ ؔ࿈͢Δ Query ͱ Passage ͰόονΛ࡞ɻ ᶄ શͯͷϖΞʹ͍ͭͯ ϕΫτϧͷੵΛܭࢉɻɹɹ ؔ࿈͢ΔϖΞΛਖ਼ྫɺ ͦͷଞΛෛྫͱ͢Δɻ ᶅ ֤ Query ʹ͍ͭͯɺਖ਼ྫ ͷείΞ͕૬ରతʹେ͖͘ͳΔ Α͏ʹ࠷దԽ͢Δɻ Softmax with Cross-Entropy 8
ີϕΫτϧݕࡧ vs. ૄϕΫτϧݕࡧ 9
ૄϕΫτϧݕࡧ Sparse (Vector) Retrieval ⽇本 ⼆番⽬ ⾼ ⼭ 何? …
ຊ … ࢁ … ߴ͍ … 0 1.54 0 3.45 0 2.3 0 ςΩετதͷ୯ޠʹείΞΛ༩͑ͯɺ ϕΫτϧΛ࡞Δɻ 10
ૄϕΫτϧݕࡧͷදख๏ BM25 (Robertson et al., 1994) IDF(w) Query தͷ୯ޠ w
ͷείΞɿ Passage தͷ୯ޠ w ͷείΞɿ f (w, p) ⋅ (k1 + 1) f (w, p) + k1 ⋅ (1 − b + b ⋅ |p| avgplength ) - ୯ޠ w ͷස͕ߴ͍΄ͲείΞ͕ߴ͍ - Passage ͷ͕͍͞΄ͲείΞ͕͍ - b ͱ k_1 ϋΠύϥ 11
ૄϕΫτϧݕࡧ Sparse (Vector) Retrieval … ຊ … ࢁ … ߴ͍
… 0 1.64 0 3.45 0 2.30 0 … ຊ … ࢁ … ߴ͍ … 0 3.42 0 2.74 0 1.33 0 ⋅ Query ͱ Passage ͷྨࣅૄϕΫτϧͷੵͱଊ͑Δ͜ͱ͕Ͱ͖Δɻ ࣮ࡍͷ࣮ͰɺసஔΠϯσοΫεΛߏங͠ Query தͷ୯ޠΛ࣋ͨͳ͍ Passage Λແࢹ͢ΔͳͲͯ͠ɺܭࢉΛߴԽ͢Δɻ 12
Ұൠతͳͱͯ͠ɺಘҙ͕ҟͳΔ (Thukar et al., 2021)ɻ ີϕΫτϧݕࡧ vs. ૄϕΫτϧݕࡧ in-domain ੑೳ
out-of-domain ੑೳ BM25 ʢૄϕΫτϧʣ ˚ ̋ DPR ʢີϕΫτϧʣ ̋ ˚ 13
ີϕΫτϧݕࡧසΤϯςΟςΟʹؔ͢Δ࣭ʹऑ͍ɻ ີϕΫτϧݕࡧ vs. ૄϕΫτϧݕࡧ Table 1, Sciavolino et al., 2021
ΑΓ 14
ʢ͓·͚ʣଞʹ͍ΖΜͳख๏͕ఏҊ͞Ε͍ͯΔ͕ ີͱૄͷϋΠϒϦουͩͬͨΓɺΞΠσΟΞͷܥේ͕͋ͬͯ໘ന͍ BM25 DPR SPLADE ColBERT COIL CITADEL Li et
al., 2022 Formal et al., 2021 Gao et al., 2021 Khattab et al., 2020 Karpukhin et al., 2020 Robertson et al., 1994 ϚϧνϕΫτϧԽ BERT ͷ MLM-head ͰείΞΛ༧ଌ ϕΫτϧݕࡧͰ సஔΠϯσοΫεΛ༻ ʢ͍Ζ͍Ζશ෦Γͷख๏ʣ 15
ੳख๏ Vocabulary Projections ͷఏҊ 16
- ີϕΫτϧݕࡧͷϕΫτϧΛޠኮۭؒʹࣹӨͯ͠ղऍ͢Δ ख๏ΛఏҊ - ͦͷख๏ͰີϕΫτϧؚ͕ΉใΛੳ - ີϕΫτϧ͕ॏཁ୯ޠͷใΛ٫ͯ͠͠·͏ݱΛൃݟ ͠ɺͦΕΛվળ͢Δख๏ΛఏҊ จͷ֓ཁ 17
ϕΫτϧΛޠኮۭؒʹࣹӨ͢Δ Τϯίʔμ q … ຊ … ࢁ … ߴ͍ …
0… 0.11 0… 0.13 0… 0.09 0… MLM head ϕΫτϧʹͲͷΑ͏ͳ୯ޠͷใ͕Ͳͷ͘Βؚ͍·Ε͍ͯΔ͔͕͔Δ Q 18
ϕΫτϧΛޠኮۭؒʹࣹӨ͢Δ Τϯίʔμ q ϑΝΠϯνϡʔχϯάࡁΈ ࣄલֶशޙͦͷ·· 19 … ຊ … ࢁ
… ߴ͍ … 0… 0.11 0… 0.13 0… 0.09 0… MLM head Q
- ϑΝΠϯνϡʔχϯάͨ͠Τϯίʔμʹɺࣄલֶशޙͦͷ ··ͷ MLM head Λ߹Θ͍ͤͯΔɻ - ͔͠ MLM head
ͷೖྗຊདྷτʔΫϯ୯ҐͷϕΫτϧ ͰɺೖྗશମΛදݱ͢ΔϓʔϦϯά͞ΕͨϕΫτϧΛೖྗ ͢Δ͜ͱఆ͞Ε͍ͯͳ͍ɻ ͜Μͳ͜ͱΛ͍͍ͯ͠ͷ͔ʁ🤔 ஶऀΒͷओுɿײతͳ݁Ռ͕ಘΒΕ͍ͯΔͷͰϤγʂ 20
- Ұൠʹ BERT ΛϑΝΠϯνϡʔχϯάͯ͠ɺ্ҐϨΠϠʔ͕গ͠ಈ͚ͩ͘ (Zhou and Srikumar, 2022)ɻ ➡︎ ϑΝΠϯνϡʔχϯάલͷ
MLM head Λ߹ΘͤͯͦΕͳΓʹҙຯͷ͋Δ݁Ռ͕ ಘΒΕΔͱߟ͑ΒΕΔɻ - ϓʔϦϯά͍ͯ͠Δͱ͍ͬͯɺτʔΫϯ୯ҐͷϕΫτϧ͔Β࡞ΒΕ͍ͯΔɻ ➡︎ LM head ʹೖΕͯগͳ͘ͱ୯ޠใͷ૬ରతͳڧ͞औΕͦ͏ɻ - Query ͱ Passage ͷΤϯίʔμಉ͡ BERT ͔ΒॳظԽ͞ΕɺతؔςΩ ετͷྨࣅʹ͍ؔͯ͠Δɻ ➡︎ ײతʹɺݩͷΤϯίʔμͷ୯ޠใۭؒʹࡌ͔ͬΔܗͰֶश͕ਐΈͦ͏…ʁ ஶऀΒʹΘͬͯਖ਼ԽΛࢼΈΔͱ… 21
DPR ͷੳ 22
- ີϕΫτϧݕࡧͷϕΫτϧΛޠኮۭؒʹࣹӨͯ͠ղऍ͢Δ ख๏ΛఏҊ - ͦͷख๏ͰີϕΫτϧؚ͕ΉใΛੳ - ີϕΫτϧ͕ॏཁ୯ޠͷใΛ٫ͯ͠͠·͏ݱΛൃݟ ͠ɺͦΕΛվળ͢Δख๏ΛఏҊ จͷ֓ཁ 23
ੳͷςʔϚͱͯ͠ɺੲͳ͕ΒͷૄϕΫτϧݕࡧͰॏཁͩͱ ߟ͑ΒΕ͍ͯΔใ͕ɺDPR Ͱ׆༻͞Ε͍ͯΔ͔ɺͱ͍͏ ͜ͱΛ͔֬Ί͍ͯΔɻ 1. Query-Passage ؒͷ୯ޠॏෳͷੳ 2. Passage ϕΫτϧ
Query ʹݱΕΔ୯ޠΛ༧ଌ͍ͯ͠ Δʁ 3. Query ΤϯίʔμΫΤϦ֦ுΛ͍ͯ͠Δ͔ ੳ༰ 24
Query ͱ Passage ͷ୯ޠͷॏෳૄϕΫτϧݕࡧͰͱͯॏཁ 1. Query-Passage ؒͷ୯ޠॏෳͷੳ ੳഎܠ ➡︎ ີϕΫτϧͰͲ͏͔ʁ
… ຊ … ࢁ … ߴ͍ … 0 1.64 0 3.45 0 2.30 0 … ຊ … ࢁ … ߴ͍ … 0 3.42 0 2.74 0 1.33 0 ⋅ 25
1. Query-Passage ؒͷ୯ޠॏෳͷੳ ੳํ๏ ࢁ ຊ ߴ͍ … … 0.13
0.11 0.09 … … ⾚⽯⼭脈 ⽇本 ⼆番⽬ ⾼ 標⾼(3193m) 誇 北岳 。 ⽇本 ⼆番⽬ ⾼ ⼭ 何? ַ ຊ ໌ੴ … … 0.22 0.10 0.09 … … ڞ௨୯ޠ ⽇本、⼆番⽬、⾼ top-3 ͷڞ௨୯ޠ ⽇本 Q P top-k ͷڞ௨୯ޠ͕ڞ௨୯ޠͷԿ%Χόʔ͍ͯ͠Δ͔Λௐࠪ Vocabulary Projection 26
1. Query-Passage ؒͷ୯ޠॏෳͷੳ ੳ݁Ռ Figure 3 ΑΓ DPR ɺϑΝΠϯνϡʔχϯάલʹ ൺͯɺϕΫτϧʹ
Query ͱ Passage Ͱڞ௨͢ΔΑ͏ͳ୯ޠใ ΛΑΓଟ͘Τϯίʔυ͍ͯ͠Δɻ ➡︎ ີϕΫτϧͰ୯ޠॏෳ͕ॏཁɻ 27
2. Passage ϕΫτϧ Query ʹݱΕΔ୯ޠΛ༧ଌ͍ͯ͠Δʁ ੳഎܠ Passage ͨ͘͞Μ୯ޠΛؚΉ͕ɺͦͷ͏ͪ Query ʹݱΕΔΑ͏ͳ୯ޠΛ
ڧௐ͢ΔΑ͏ʹɺDPR ϕΫτϧΛΤϯίʔυ͍ͯ͠Δʁ ⾚⽯⼭脈 ⽇本 ⼆番⽬ ⾼ 標⾼(3193m) 誇 北岳 。 ⽇本 ⼆番⽬ ⾼ ⼭ 何? 28
⽇本 ⼆番⽬ ⾼ ⼭ 何? ַ ຊ ໌ੴ … …
0.22 0.10 0.09 … … Query ͷ୯ޠ͕ P Ͱ্ҐʹϥϯΩϯά͞Ε͍ͯΔ͔ʁ ͜ΕΛQueryதͷ୯ޠͷɺP ʹ͓͚ΔฏۉٯॱҐͰఆྔԽɻ P 2. Passage ϕΫτϧ Query ʹݱΕΔ୯ޠΛ༧ଌ͍ͯ͠Δʁ ੳํ๏ 29
Table 2 ΑΓ DPR vs. BERT(mean) ϑΝΠϯνϡʔχϯάલʹൺͯɺ ҙຯͷ͋Δ୯ޠΛ্ҐʹΤϯίʔυ ͢ΔΑ͏ʹͳ͍ͬͯΔɻ >
> > 2. Passage ϕΫτϧ Query ʹݱΕΔ୯ޠΛ༧ଌ͍ͯ͠Δʁ ੳ݁Ռ 30
Table 2 ΑΓ DPR ͷ Passage ϕΫτϧʹɺ Passage ͱ Query
ڞ௨ͷ୯ޠ্͕ ҐʹΤϯίʔυ͞Ε͍͢ɻ ·ͨ Query தͷ୯ޠɺPassage தͷ୯ޠΑΓ্ҐʹΤϯίʔυ͞ Ε͍͢ɻ > > ➡︎ DPR ɺݕࡧʹॏཁͳ୯ޠใ Λ༧ଌ͠ɺϕΫτϧʹΤϯίʔυ ͍ͯ͠Δɻ 2. Passage ϕΫτϧ Query ʹݱΕΔ୯ޠΛ༧ଌ͍ͯ͠Δʁ ੳ݁Ռ 31
ੳഎܠɿQuery ʹಉٛޠؔ࿈͢Δ୯ޠͳͲΛิͬͯϚονΛ্͛Δɹ ΫΤϦ֦ுͱ͍͏ςΫχοΫ͕Α͘ΘΕΔɻ 3. Query ΤϯίʔμΫΤϦ֦ுΛ͍ͯ͠Δ͔ ੳഎܠ ⽇本 ⼆番⽬ ⾼
⼭ 何? ➡︎ DPR ΫΤϦ֦ுΛ҉ʹ͍ͯ͠Δʁ ⼭脈、標⾼、富⼠⼭… + 32
3. Query ΤϯίʔμΫΤϦ֦ுΛ͍ͯ͠Δ͔ ੳํ๏ ࢁ ຊ ߴ͍ ࢁ຺ … 0.13
0.11 0.09 0.07 … ⾚⽯⼭脈 ⽇本 ⼆番⽬ ⾼ 標⾼(3193m) 誇 北岳 。 ⽇本 ⼆番⽬ ⾼ ⼭ 何? ַ ຊ ໌ੴ ඪߴ … 0.22 0.10 0.09 0.07 … ϕΫτϧΛ ޠኮۭؒʹࣹӨ Q P Query ʹؚ·Ε͍ͯͳ͍͕ɺPassage ʹؚ·Ε͍ͯΔ୯ޠΛ top-k ʹ࣋ͭ Q ͕ͲΕ͘Β͍͋Δ͔Λௐࠪɻ 33
3. Query ΤϯίʔμΫΤϦ֦ுΛ͍ͯ͠Δ͔ ੳ݁Ռ Figure 4 ΑΓ ɹ ׂ̔Ҏ্ͷ Q
͕ɺtop-20 ͷ͏ͪ ʹ Query ʹͳ͍͕ Passage ʹଘࡏ ͢Δ୯ޠΛؚΜͰ͍Δɻ ➡︎ DPR ΫΤϦ֦ுΛ҉ʹֶशͯ͠ ͍Δɻ 34
DPR ૄϕΫτϧݕࡧͱಉ༷ʹɺ୯ޠͷॏෳΛॏཁࢹ͠ɺ ·ͨ Query ͱ Passage ͷϕΫτϧʹॏཁͷߴ͍୯ޠͷ ใΛೖΕΔڍಈΛ͍ͯ͠Δɻ ੳͷ·ͱΊ 35
Token Amnesia ʹ͍ͭͯ 36
- ີϕΫτϧݕࡧͷϕΫτϧΛޠኮۭؒʹࣹӨͯ͠ղऍ͢Δ ख๏ΛఏҊ - ͦͷख๏ͰີϕΫτϧؚ͕ΉใΛੳ - ີϕΫτϧ͕ॏཁ୯ޠͷใΛ٫ͯ͠͠·͏ݱΛൃݟ ͠ɺͦΕΛվળ͢Δख๏ΛఏҊ จͷ֓ཁ 37
Vocabulary Projections ͰϕΫτϧΛௐͯΈΔͱɺ Passage ϕΫτϧ͕ɺຊจʹଘࡏ͢Δॏཁͳ୯ޠΛ٫ͯ͠ ͍Δ͜ͱ͕͋Δɻ͜ΕΛ Token Amnesia ͱ͍͏ɻ ՝ͷൃݟ
⾚⽯⼭脈 ⽇本 ⼆番⽬ ⾼ 標⾼(3193m) 誇 北岳 。 北岳 標⾼ 何? Vocabulary Projection ַ ඪߴ … … … 0.33 0.21 … … … ੴ ຊ ඪߴ … ַ 0.22 0.10 0.09 … 0.001 Q P …͜ͷଘࡏΛఆྔతʹࣔͨ͠σʔλ (Figure 5) ׂѪ 38
ॏཁͳ୯ޠͷใΛϕΫτϧʹͤΑ͍ɻ Token Amnesia ͷղܾ๏ Passage ͷϕΫτϧ + ॏཁ୯ޠͷϕΫτϧ Λ͢Δ͜ͱͰੑೳվળɻ ͜ͷख๏
Lexical Enrichment ͱݺΕ͍ͯΔɻ 39
·ͣɺॏཁ୯ޠ t ͷใΛؚΜͩϕΫτϧ St Λ࡞Δɻ Lexical Enrichment st = arg
max ̂ s log MLM Head( ̂ s)[t] MLM Head ʹೖྗ͢Δͱ୯ޠ t ͷ༧ଌ͕֬ߴ͘ ͳΔΑ͏ͳϕΫτϧ ŝ ΛɺSGD Ͱֶश͢Δɻ 40
ෳͷॏཁ୯ޠ [x1, …, xn] ͷใΛɺPassage ϕΫτϧʹՃ͍ͨ͠ͱ͢Δɻ ͦͷ߹֤୯ޠΛ IDF ͰॏΈ͚ͯɺϕΫτϧΛ࡞Δɻ Lexical
Enrichment elex x = 1 n n ∑ i=1 IDF(xi )sxi ŝ 41
ݩʑͷύοηʔδϕΫτϧ ex ʹ͠߹ΘͤΔ࣌ɺਖ਼نԽΛ͠ɺ ॏΈ λ Λ͔͚Δɻ Lexical Enrichment e′ 
x = ex + λ ⋅ elex x elex x ŝ 42
Lexical Enrichment Λ༻͢Δͱ out-of-domain ੑೳ͕ྑ͘ͳΔɻ Lexical Enrichment ͷޮՌ Table 3
ΑΓൈਮ …ablation study (Table 4) ׂѪ 43
- ີϕΫτϧݕࡧͷϕΫτϧΛޠኮۭؒʹࣹӨͯ͠ղऍ͢Δ ख๏ΛఏҊ - ͦͷख๏ͰີϕΫτϧؚ͕ΉใΛੳ - ີϕΫτϧ͕ॏཁ୯ޠͷใΛ٫ͯ͠͠·͏ݱΛൃݟ ͠ɺͦΕΛվળ͢Δख๏ΛఏҊ จͷ֓ཁ 44
- Vocabulary Expansion ີϕΫτϧݕࡧͷҰา౿ΈࠐΜͩ ΤϥʔੳΛ͢Δͷʹཱͪͦ͏ɻ - Token Amnesia DPR
+ BM25 ͷΞϯαϯϒϧͳͲͰ ղܾ͠ͳ͍ͷͩΖ͏͔ʁʢLexical Enrichment ख͕͔ؒ ͔Γͦ͏ɻʣ ॴײ 45