Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ACL読み会2024@名大 REANO: Optimising Retrieval-Augme...
Search
Takuma Matsubara
September 29, 2024
Science
0
200
ACL読み会2024@名大 REANO: Optimising Retrieval-Augmented Reader Models through Knowledge Graph Generation
Takuma Matsubara
September 29, 2024
Tweet
Share
Other Decks in Science
See All in Science
地質研究者が苦労しながら運用する情報公開システムの実例
naito2000
0
190
データベース06: SQL (3/3) 副問い合わせ
trycycle
PRO
1
540
Healthcare Innovation through Business Entrepreneurship
clintwinters
0
220
データベース10: 拡張実体関連モデル
trycycle
PRO
0
640
Hakonwa-Quaternion
hiranabe
1
100
データベース01: データベースを使わない世界
trycycle
PRO
1
640
SpatialBiologyWestCoastUS2024
lcolladotor
0
130
統計学入門講座 第4回スライド
techmathproject
0
140
Symfony Console Facelift
chalasr
2
450
MCMCのR-hatは分散分析である
moricup
0
160
創薬における機械学習技術について
kanojikajino
16
5.3k
Explanatory material
yuki1986
0
300
Featured
See All Featured
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
VelocityConf: Rendering Performance Case Studies
addyosmani
329
24k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.7k
Statistics for Hackers
jakevdp
799
220k
Optimizing for Happiness
mojombo
379
70k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
900
Docker and Python
trallard
44
3.4k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.6k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Transcript
REANO: Optimising Retrieval-Augmented Reader Models through Knowledge Graph Generation Jinyuan
Fang, Zaiqiao Meng, Craig Macdonald University of Glasgow 読み⼿: 松原拓磨(豊⽥⼯⼤) 図表は論⽂,[1]より [1] Izacard et al., 2021. Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering. EACL.
導⼊ • Open Domain Question Answering (ODQA) • ⼊⼒は質問,出⼒は回答 •
近年,Retrieval-Augmented Generation(RAG)が⾼い性能を発揮 ACL2024読み会@名⼤ 2 2024/9/30 Retrieval 外部知識 質問 Reader 回答 Passages
導⼊ • Open Domain Question Answering (ODQA) • ⼊⼒は質問,出⼒は回答 •
近年,Retrieval-Augmented Generation(RAG)が⾼い性能を発揮 ACL2024読み会@名⼤ 3 2024/9/30 Retrieval 外部知識 質問 Reader 回答 Passages Readerモデルに注⽬
問題提起と提案の概要 • 従来のReaderモデルではPassage間の依存を無視 ØPassegesからKGを構築することで,マルチホップな推論が可能 2024/9/30 ACL2024読み会@名⼤ 4 Fusion-in-Decoder (FiD) PassagesからKGを補完
情報が⾜りない
提案⼿法 Passageから補完したKGを活⽤したReaderモデルを提案 • KG Generator : 既存の知識にない情報を補完したKGを作成 • Answer Predictor
: 質問に関連するトリプルを選択し,回答 2024/9/30 ACL2024読み会@名⼤ 5
提案⼿法 Passageから補完したKGを活⽤したReaderモデルを提案 • KG Generator : 既存の知識にない情報を補完したKGを作成 • Answer Predictor
: 質問に関連するトリプルを選択し,回答 2024/9/30 ACL2024読み会@名⼤ 6
提案⼿法 Passageから補完したKGを活⽤したReaderモデルを提案 • KG Generator : 既存の知識にない情報を補完したKGを作成 • Answer Predictor
: 質問に関連するトリプルを選択し,回答 2024/9/30 ACL2024読み会@名⼤ 7
KG Generator 2024/9/30 ACL2024読み会@名⼤ 8 • 既存の知識にない情報を補完したKGを作成 • Intra-context RE(⽂脈内関係抽出)
• 関係抽出モデルDocuNetによりPassagesから関係トリプルを獲得 • Inter-context RE(⽂脈間関係抽出) • Wikidataから関係トリプルを獲得 • Graph Neural Network (GNN) • Entityの埋め込みを獲得
Answer Predictor 2024/9/30 ACL2024読み会@名⼤ 9 KGの埋め込み • 質問qに関連する関係トリプルを選択し,回答
実験 2024/9/30 ACL2024読み会@名⼤ 10 Multihop QA スコアはaccuracy(完全⼀致) • 5つのデータセットで評価 •
SoTA性能 • ベースラインモデル • 抽出型Reader • DPR • ⽣成型Reader • RAG-Seq, FiDO • KG強化型Reader • KG-FiD, OREOLM, GRAPE
Passagesを減らした時の影響 2024/9/30 ACL2024読み会@名⼤ 11 • nを減らしていくとnnとn50のスコアの差が開いていく • 50 passages由来の関係トリプルが有⽤な情報を提供 •
T5に⼊⼒するPassagesの減少が可能 NQ TQA n50 nn
Case Study 2024/9/30 ACL2024読み会@名⼤ 12 • 既存の知識にない関係トリプルを活⽤できている
まとめ • 既存の知識にない情報を獲得し,Passage間の依存を捉える 検索拡張Readerモデル(REANO)を提案 • Passagesから抽出した情報でKnowledge Graph (KG)を補完 • ベースラインよりも⾼い性能を発揮
• 様々な結果の解析 2024/9/30 ACL2024読み会@名⼤ 13
補⾜:KG Generator 2024/9/30 ACL2024読み会@名⼤ 14 パッセージのentityペアの埋め込み トリプルの関係の埋め込み entityの埋め込み 近傍ノードを考慮した埋め込み qに対するアテンション
• 質問に関連する関係トリプルの埋め込みを獲得 • REM (Relation Embedding Module): REのノイズを緩和 • GNN (Graph Neural Network): 質問qに関連するentityの埋め込み獲得
補⾜:学習の⼯夫 • KG generator (DocuNet)の学習 • REBELデータセットで遠距離教師あり学習 • Answer Predictor
(GNNとT5) の学習 • cq :全entityについて質問に関連する確率の分布 • cq *: 質問から答えのentityまでのパスにあるentityは関連する 2024/9/30 ACL2024読み会@名⼤ 15
補⾜:Ablation Study • w/o inter-context triples • Passage間の関係なし • w/o
intra-context triples • DocuNetなし • w/o REM • REのノイズを緩和しない • w/o GNN • マルチホップが⾒られない 2024/9/30 ACL2024読み会@名⼤ 16 • GNNの下り幅が⼤きい