第4回ナレッジグラフ勉強会 Knowledge Graph Embedding

対象の論文
Session 3A: Knowledge Graph Embeddings I
・Knowledge Graph Enhanced Language Models for Sentiment Analysis
・Integrating Knowledge Graph Embeddings and Pre-trained Language Models in Hypercomplex Spaces
・SORBET: a Siamese Network for Ontology Embeddings Using a Distance-based Regression Loss and BERT
Session 9A: Knowledge Graph Embeddings IV<\b>
・Comparison of Knowledge Graph Representations for Consumer Scenarios
・Neural Multi-hop Logical Query Answering with Concept-level Answers
・ASKRL: An Aligned-Spatial Knowledge Representation Learning Framework for Open-world Knowledge Graph

Transcript

1. Session 3A: Knowledge Graph Embeddings I 吉丸 直希
2. Knowledge Graph Enhanced Language Models for Sentiment Analysis Jie Li, Xuan Li, Linmei Hu, Yirui Zhang and Jinrui Wang/Beijing University of Posts and Telecommunications, Beijing, China. • ⼀⾔でいうと コモンセンスとセンチメントの異種知識グラフによる感情分析(KSA) • 動機 感情分析を⾏うLanguage Model (LM)を構築する際に１つの外部知識を導⼊ する⽅法はあるが，複数の知識概念の獲得はまだできていない • ⼿法 knowledge enhanced model for sentiment analysis(KSA)の提案した． LM層、GNN層、および融合ユニットからなる複数の融合層により感情分類を⾏う． GNN層はコモンセンスKGによりLM層は任意の事前学習済みモデルにより計算 • 背景 LMでは⼀般事象などには強いが，感情に関する知識が必要だった→KG • 結果 ４つのデータセットで検証．BERT，RoBERTaなどの⾔語モデルと感情データでファ インチューニングしたモデルよりも精度向上を達成 • 考察 KG埋め込みや融合ユニットの有無精度を⽐較→ 複数のコンポーネントを組み合わ せることが精度向上に寄与したと⾔える • 課題 データ品質の問題や複雑性の増加 Research Track
3. Integrating Knowledge Graph Embeddings and Pre-trained Language Models in Hypercomplex Spaces Mojtaba Nayyeri, Zihao Wang, Mst. Mahfuja Akter, Mirza Mohtashim, Md Rashad Al Hasan Rony, Jens Lehmann and Steffen Staab/University of Stuttgart, Stuttgart, Germany • ⼀⾔でいうと 知識グラフ埋め込みと複数の事前学習済み⾔語モデルを超複合空間で統合する新 しいフレームワーク • 動機 既存の知識グラフ埋め込み(KGE)モデルが単⼀の事前学習済み⾔語モデルに依存 しており，異なるモデル間での相補的な活⽤がまだ • ⼿法 超複合代数を使⽤して，構造的知識グラフの埋め込みと複数のテキスト表現間の 相互作⽤をモデル化． Dihedron Modelを⽤いて、構造的知識、単語レベル、⽂ レベル、ドキュメントレベルの4つの異なる表現を統合して複雑空間上に表現 • 背景 KGはAIシステムの中で重要な要素だが，実世界の事実と⽐べ不完全であるためテ キストが必要だった • 結果 リンク予測のタスクで多くの⼿法と⽐較し，SOTAを達成 • 考察 ⼩規模なデータセットから⼤規模なデータセットで有効であることを⽰した．特にデー タがスパースな場合に、テキスト情報の統合の有⽤性を確かめることができた • 課題 複数ソースの情報を統合し、マルチホップKG補完シナリオや他のタスクにモデルを適⽤ Research Track
4. SORBET: a Siamese Network for Ontology Embeddings Using a Distance- based Regression Loss and BERT Francis Gosselin and Amal Zouaq/ LAMA-WeST Lab, Departement of Computer Engineering and Software Engineering, Polytechnique Montreal, 2500 Chem. de Polytechnique, Montréal, QC H3T 1J4, Canada • ⼀⾔でいうと BERTと距離ベースの回帰損失を使⽤してオントロジーの埋め込みを⾏うSiamese ネットワークであるSORBET • 動機 オントロジー関連タスクのための表現学習⽅法が注⽬されているが、オントロジーの構 造に忠実で意味的に関連性のあるオントロジーの埋め込みを構築するために⼤規模 ⾔語モデルを適応する研究は少ない • ⼿法 概念構造を把握するTree Walkにより作成されたデータからSentence BERTが 学習される．SBERTによりエンコードされた埋め込みはオントロジのクラス間の意味 的な距離を把握するために，距離ベースの損失関数と組み合わせて計算された • 背景 KG埋め込みとオントロジー埋め込みは別々ですべきである • 結果 複数のオントロジデータセットのサブキャプションタスクで最⾼性能を達成 • 考察 回帰損失を⽤いることでオントロジでの距離を埋め込めている • 課題 異なるルールの組み合わせを実験し，オントロジーの概念間の距離推定を改善 Research Track
5. Session 9A: Knowledge Graph Embeddings IV 吉丸 直希
6. Comparison of Knowledge Graph Representations for Consumer Scenarios Ana Iglesias-Molina, Kian Ahrabian, Filip Ilievski, Jay Pujara and Oscar Corcho/Ontology Engineering Group, Universidad Polit´ecnica de Madrid, Madrid, Spain • ⼀⾔でいうと 消費者シナリオにおける知識グラフ表現の適合性を分析 • 動機 RDFが伝統的なモデル以外にも，プロパティグラフ，Wikidataモデル，RDF-star など様々あるが，その表現が消費者シナリオ（知識探索，体系的クエリなどに）に どう影響を与えるかを調査した研究 • ⼿法 標準再化，N-ary関係，Wikidata修飾⼦，RDF-starの4つの表現⽅法を対 象． 知識探索タスクのためのユーザースタディ，合成データセットと実世界のデータセ ットを⽤いた体系的クエリングの評価，知識グラフの埋め込みモデルを⽤いたグラフ完 成タスクのパフォーマンス測定 • 背景 知識グラフの使⽤の際に，どういうシナリオで何が最適化の⼀致した⾒解がない • 結果 QualifiersとRDF-starが知識探索と体系的クエリに適する． 標準再化モデルは ⾼いパフォーマンスを出すがユーザにとって使いずらい可能性 • 考察 標準再化（Standard Reification）は反直感的な構造で、ナビゲートする際に 時間がかかるだけでなく，正確で完全な情報の取得が複雑 • 課題 異なる知識グラフ表現の間の相互運⽤性を促進し，有⽤性を⾼める Research Track
7. Neural Multi-hop Logical Query Answering with Concept-level Answers Zhenwei Tang, Shichao Pei, Xi Peng, Fuzhen Zhuang, Xiangliang Zhang and Robert Hoehndorf/ University of Toronto, Toronto, ON, Canada • ⼀⾔でいうと 概念レベルの回答を提供するニューラルマルチホップ論理クエリ応答（LQAC）の問 題を定式化 • 動機 論理クエリ応答（LQA）システムは、インスタンスレベルの回答のみを提供しており、 ユーザーがより記述的な概念レベルの回答を求めるケースに対応できていなかった • ⼿法 概念、インスタンス、クエリ間の関係性をモデル化するために、ファジィ集合演算を⽤い た複数の演算⼦を設計 • 背景 関係データの探索において論理クエリ応答は基本だが，概念レベルの回答を提供す る能⼒が不⾜ • 結果 複数の実世界のデータセットにおいて，概念レベルとインスタンスレベルの両⽅のクエリ で従来のLQAシステムを上回る • 考察 バイオメディカルなど特定の分野における知識発⾒におけるLQACの重要性を強調 • 課題 ALC記述論理における概念記述を含むより複雑なオントロジーに対する拡張，およ び否定クエリの取り扱い Research Track
8. ASKRL: An Aligned-Spatial Knowledge Representation Learning Framework for Open-world Knowledge Graph Ziyu Shang, Peng Wang, Yuzhang Liu, Jiajun Liu and Wenjun Ke/ School of Computer Science and Engineering, Southeast University, Nanjing, China • ⼀⾔でいうと オープンワールド知識グラフにおけるゼロショットエンティティの問題に対処 • 動機 クローズドワールド知識表現学習(KRL)モデルは、ゼロショットエンティティを効果的に 処理できず、オープンワールド設定での使⽤に限界 • ⼿法 SKRLは、構造化された埋め込み層、説明エンコーディング層、そして埋め込み空間 整列層の3つの主要なコンポーネントで構成． エンティティとリレーションの表現を構 造化された空間と意味空間の両⽅で学習 • 背景 オープンワールド知識グラフは、新たなエンティティやリレーションが継続的に追加される ため、既存のKRLモデルでは対応できない • 結果 ASKRLはオープンワールド知識グラフ完了データセットにおいて、強⼒なベースラインモ デルを⼀貫して上回る．特にBERTベースのエンコーダの際に顕著な向上 • 考察 KRLモデルやトランスフォーマーベースのエンコーダーを使⽤することで、さらなる改善が 期待 • 課題 異なる種類の知識グラフにおけるASKRLの適⽤性，多⾔語や他ドメインでの実験 Research Track