ACL読み会2024@名大 REANO: Optimising Retrieval-Augmented Reader Models through Knowledge Graph Generation

1. REANO: Optimising Retrieval-Augmented Reader Models through Knowledge Graph Generation Jinyuan Fang, Zaiqiao Meng, Craig Macdonald University of Glasgow 読み⼿: 松原拓磨（豊⽥⼯⼤） 図表は論⽂，[1]より [1] Izacard et al., 2021. Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering. EACL.
2. 導⼊ • Open Domain Question Answering (ODQA) • ⼊⼒は質問，出⼒は回答 • 近年，Retrieval-Augmented Generation(RAG)が⾼い性能を発揮 ACL2024読み会@名⼤ 2 2024/9/30 Retrieval 外部知識 質問 Reader 回答 Passages
3. 導⼊ • Open Domain Question Answering (ODQA) • ⼊⼒は質問，出⼒は回答 • 近年，Retrieval-Augmented Generation(RAG)が⾼い性能を発揮 ACL2024読み会@名⼤ 3 2024/9/30 Retrieval 外部知識 質問 Reader 回答 Passages Readerモデルに注⽬
4. 問題提起と提案の概要 • 従来のReaderモデルではPassage間の依存を無視 ØPassegesからKGを構築することで，マルチホップな推論が可能 2024/9/30 ACL2024読み会@名⼤ 4 Fusion-in-Decoder (FiD) PassagesからKGを補完 情報が⾜りない
5. 提案⼿法 Passageから補完したKGを活⽤したReaderモデルを提案 • KG Generator : 既存の知識にない情報を補完したKGを作成 • Answer Predictor : 質問に関連するトリプルを選択し，回答 2024/9/30 ACL2024読み会@名⼤ 5
6. 提案⼿法 Passageから補完したKGを活⽤したReaderモデルを提案 • KG Generator : 既存の知識にない情報を補完したKGを作成 • Answer Predictor : 質問に関連するトリプルを選択し，回答 2024/9/30 ACL2024読み会@名⼤ 6
7. 提案⼿法 Passageから補完したKGを活⽤したReaderモデルを提案 • KG Generator : 既存の知識にない情報を補完したKGを作成 • Answer Predictor : 質問に関連するトリプルを選択し，回答 2024/9/30 ACL2024読み会@名⼤ 7
8. KG Generator 2024/9/30 ACL2024読み会@名⼤ 8 • 既存の知識にない情報を補完したKGを作成 • Intra-context RE（⽂脈内関係抽出） • 関係抽出モデルDocuNetによりPassagesから関係トリプルを獲得 • Inter-context RE（⽂脈間関係抽出） • Wikidataから関係トリプルを獲得 • Graph Neural Network (GNN) • Entityの埋め込みを獲得
9. Answer Predictor 2024/9/30 ACL2024読み会@名⼤ 9 KGの埋め込み • 質問qに関連する関係トリプルを選択し，回答
10. 実験 2024/9/30 ACL2024読み会@名⼤ 10 Multihop QA スコアはaccuracy（完全⼀致） • 5つのデータセットで評価 • SoTA性能 • ベースラインモデル • 抽出型Reader • DPR • ⽣成型Reader • RAG-Seq, FiDO • KG強化型Reader • KG-FiD, OREOLM, GRAPE
11. Passagesを減らした時の影響 2024/9/30 ACL2024読み会@名⼤ 11 • nを減らしていくとnnとn50のスコアの差が開いていく • 50 passages由来の関係トリプルが有⽤な情報を提供 • T5に⼊⼒するPassagesの減少が可能 NQ TQA n50 nn
12. Case Study 2024/9/30 ACL2024読み会@名⼤ 12 • 既存の知識にない関係トリプルを活⽤できている
13. まとめ • 既存の知識にない情報を獲得し，Passage間の依存を捉える 検索拡張Readerモデル(REANO)を提案 • Passagesから抽出した情報でKnowledge Graph (KG)を補完 • ベースラインよりも⾼い性能を発揮 • 様々な結果の解析 2024/9/30 ACL2024読み会@名⼤ 13
14. 補⾜：KG Generator 2024/9/30 ACL2024読み会@名⼤ 14 パッセージのentityペアの埋め込み トリプルの関係の埋め込み entityの埋め込み 近傍ノードを考慮した埋め込み qに対するアテンション • 質問に関連する関係トリプルの埋め込みを獲得 • REM (Relation Embedding Module): REのノイズを緩和 • GNN (Graph Neural Network): 質問qに関連するentityの埋め込み獲得
15. 補⾜：学習の⼯夫 • KG generator (DocuNet)の学習 • REBELデータセットで遠距離教師あり学習 • Answer Predictor (GNNとT5) の学習 • cq ：全entityについて質問に関連する確率の分布 • cq *: 質問から答えのentityまでのパスにあるentityは関連する 2024/9/30 ACL2024読み会@名⼤ 15
16. 補⾜：Ablation Study • w/o inter-context triples • Passage間の関係なし • w/o intra-context triples • DocuNetなし • w/o REM • REのノイズを緩和しない • w/o GNN • マルチホップが⾒られない 2024/9/30 ACL2024読み会@名⼤ 16 • GNNの下り幅が⼤きい