Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ACL読み会2024@名大 REANO: Optimising Retrieval-Augme...
Search
Takuma Matsubara
September 29, 2024
Science
0
180
ACL読み会2024@名大 REANO: Optimising Retrieval-Augmented Reader Models through Knowledge Graph Generation
Takuma Matsubara
September 29, 2024
Tweet
Share
Other Decks in Science
See All in Science
Causal discovery based on non-Gaussianity and nonlinearity
sshimizu2006
0
250
多次元展開法を用いた 多値バイクラスタリング モデルの提案
kosugitti
0
280
大規模言語モデルの開発
chokkan
PRO
85
45k
The thin line between reconstruction, classification, and hallucination in brain decoding
ykamit
1
1.3k
学術講演会中央大学学員会八王子支部
tagtag
0
290
事業会社における 機械学習・推薦システム技術の活用事例と必要な能力 / ml-recsys-in-layerx-wantedly-2024
yuya4
4
320
マテリアルズ・インフォマティクスの先端で起きていること / What's Happening at the Cutting Edge of Materials Informatics
snhryt
1
210
第61回コンピュータビジョン勉強会「BioCLIP: A Vision Foundation Model for the Tree of Life」
x_ttyszk
1
1.7k
私たちのプロダクトにとってのよいテスト/good test for our products
camel_404
0
280
生成AI による論文執筆サポートの手引き(ワークショップ) / A guide to supporting dissertation writing with generative AI (workshop)
ks91
PRO
0
440
最適化超入門
tkm2261
15
3.8k
インフラだけではない MLOps の話 @事例でわかるMLOps 機械学習の成果をスケールさせる処方箋 発売記念
icoxfog417
PRO
2
750
Featured
See All Featured
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.5k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
8
700
How to Ace a Technical Interview
jacobian
276
23k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
320
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.4k
The Cost Of JavaScript in 2023
addyosmani
48
7.6k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
7
610
Documentation Writing (for coders)
carmenintech
69
4.7k
Code Reviewing Like a Champion
maltzj
522
39k
The Cult of Friendly URLs
andyhume
78
6.3k
Become a Pro
speakerdeck
PRO
27
5.2k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.3k
Transcript
REANO: Optimising Retrieval-Augmented Reader Models through Knowledge Graph Generation Jinyuan
Fang, Zaiqiao Meng, Craig Macdonald University of Glasgow 読み⼿: 松原拓磨(豊⽥⼯⼤) 図表は論⽂,[1]より [1] Izacard et al., 2021. Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering. EACL.
導⼊ • Open Domain Question Answering (ODQA) • ⼊⼒は質問,出⼒は回答 •
近年,Retrieval-Augmented Generation(RAG)が⾼い性能を発揮 ACL2024読み会@名⼤ 2 2024/9/30 Retrieval 外部知識 質問 Reader 回答 Passages
導⼊ • Open Domain Question Answering (ODQA) • ⼊⼒は質問,出⼒は回答 •
近年,Retrieval-Augmented Generation(RAG)が⾼い性能を発揮 ACL2024読み会@名⼤ 3 2024/9/30 Retrieval 外部知識 質問 Reader 回答 Passages Readerモデルに注⽬
問題提起と提案の概要 • 従来のReaderモデルではPassage間の依存を無視 ØPassegesからKGを構築することで,マルチホップな推論が可能 2024/9/30 ACL2024読み会@名⼤ 4 Fusion-in-Decoder (FiD) PassagesからKGを補完
情報が⾜りない
提案⼿法 Passageから補完したKGを活⽤したReaderモデルを提案 • KG Generator : 既存の知識にない情報を補完したKGを作成 • Answer Predictor
: 質問に関連するトリプルを選択し,回答 2024/9/30 ACL2024読み会@名⼤ 5
提案⼿法 Passageから補完したKGを活⽤したReaderモデルを提案 • KG Generator : 既存の知識にない情報を補完したKGを作成 • Answer Predictor
: 質問に関連するトリプルを選択し,回答 2024/9/30 ACL2024読み会@名⼤ 6
提案⼿法 Passageから補完したKGを活⽤したReaderモデルを提案 • KG Generator : 既存の知識にない情報を補完したKGを作成 • Answer Predictor
: 質問に関連するトリプルを選択し,回答 2024/9/30 ACL2024読み会@名⼤ 7
KG Generator 2024/9/30 ACL2024読み会@名⼤ 8 • 既存の知識にない情報を補完したKGを作成 • Intra-context RE(⽂脈内関係抽出)
• 関係抽出モデルDocuNetによりPassagesから関係トリプルを獲得 • Inter-context RE(⽂脈間関係抽出) • Wikidataから関係トリプルを獲得 • Graph Neural Network (GNN) • Entityの埋め込みを獲得
Answer Predictor 2024/9/30 ACL2024読み会@名⼤ 9 KGの埋め込み • 質問qに関連する関係トリプルを選択し,回答
実験 2024/9/30 ACL2024読み会@名⼤ 10 Multihop QA スコアはaccuracy(完全⼀致) • 5つのデータセットで評価 •
SoTA性能 • ベースラインモデル • 抽出型Reader • DPR • ⽣成型Reader • RAG-Seq, FiDO • KG強化型Reader • KG-FiD, OREOLM, GRAPE
Passagesを減らした時の影響 2024/9/30 ACL2024読み会@名⼤ 11 • nを減らしていくとnnとn50のスコアの差が開いていく • 50 passages由来の関係トリプルが有⽤な情報を提供 •
T5に⼊⼒するPassagesの減少が可能 NQ TQA n50 nn
Case Study 2024/9/30 ACL2024読み会@名⼤ 12 • 既存の知識にない関係トリプルを活⽤できている
まとめ • 既存の知識にない情報を獲得し,Passage間の依存を捉える 検索拡張Readerモデル(REANO)を提案 • Passagesから抽出した情報でKnowledge Graph (KG)を補完 • ベースラインよりも⾼い性能を発揮
• 様々な結果の解析 2024/9/30 ACL2024読み会@名⼤ 13
補⾜:KG Generator 2024/9/30 ACL2024読み会@名⼤ 14 パッセージのentityペアの埋め込み トリプルの関係の埋め込み entityの埋め込み 近傍ノードを考慮した埋め込み qに対するアテンション
• 質問に関連する関係トリプルの埋め込みを獲得 • REM (Relation Embedding Module): REのノイズを緩和 • GNN (Graph Neural Network): 質問qに関連するentityの埋め込み獲得
補⾜:学習の⼯夫 • KG generator (DocuNet)の学習 • REBELデータセットで遠距離教師あり学習 • Answer Predictor
(GNNとT5) の学習 • cq :全entityについて質問に関連する確率の分布 • cq *: 質問から答えのentityまでのパスにあるentityは関連する 2024/9/30 ACL2024読み会@名⼤ 15
補⾜:Ablation Study • w/o inter-context triples • Passage間の関係なし • w/o
intra-context triples • DocuNetなし • w/o REM • REのノイズを緩和しない • w/o GNN • マルチホップが⾒られない 2024/9/30 ACL2024読み会@名⼤ 16 • GNNの下り幅が⼤きい