論文紹介_Are Embedded Potatoes Still Vegetables_ On the Limitation of WordNet Embeddings for Lexical Semantics

Transcript

1. EMNLP 2023 2023.12.20 M2　凌　志棟 1
2. 概要 Knowledge Base Embedding（KBE）が語義をモデリングする能力を調べた。 2つの仮説： • KBEモデルは単語間の関係を捉えている⇒語義も捉えられている。 • KBEモデルの関係予測性能は他のタスクの性能の代理（Proxy） を検証 結果どちらも成立しなかった（むしろ負の相関） 2
3. Knowledge Base Embedding (KBE) Models Knowledge Base = 知識グラフ Knowledge Baseには(h,r,t)のようなトリプルが含まれている ノード (Entity) h と t は関係 r で連結 e.g. BERT is a Transformerの場合 (BERT, is a, Transformer) KBEはこのような関係をベクトル空間でうまく表現するには v BERT + v is a = v Transformer を成立させる ノードとその関係をモデリングするのはKBEモデル 3 BERT Transformer is a h t r
4. TransE [Bordes+, 2013] モチベ：(h,r,t)の関係をv h + v r ≈ v t で表現 トリプルの関係の正しさを関係スコア　f(h,r,t)=||v h + v r - v t || （ノルム）で表現 正しいトリプルであれば f(h,r,t) が0に近い トリプル集合Dとして、目的関数L(V)を最小化するように学習 4 Dにある正例 hかtをランダムに置き換えた負例
5. DistMult[Yang+, 2015] TransEと違って、関係を行列で表現する関係スコアを使う 　　　f(h,r,t) = vT h Rv t Rは対称な関係行列にしたため、行列対角化することで計算速度向上 f(h,r,t)=f(t,r,h)はモデリングできるが、非対称関係は不向き（1対n） 5
6. 他のKBEモデル • MuRP [Balaževic+, 2019] ◦ 双曲空間埋め込みでノードを表現し、メビウス変換で関係を表現 ◦ 階層関係や (1対n)(n対n)関係をうまく表現できた • KBGAT[Nathani+, 2019]、rGAT[Chen+, 2021] ◦ Graph Neural Network(GNN)ベースのモデル、より複雑な関係を Graph Attentionで表現 ◦ 関係予測タスクにつよい • FuncE [Chen+, 2023]←本研究で提案 ◦ ノードをファジィ関数 f:Rn→[0,1] で表現 ◦ 異なる種類の関係に対して異なる関係スコアを使用 (同義語ならDistMult、ほかはTransE) ◦ ノードの上位下位関係を自然に表現できる 6
7. KBEモデルの訓練・評価用データセット • WN18[Bordes+, 2013] ◦ WordNetから抽出したトリプル集合 • WN18RR[Dettmers+, 2018] ◦ WN18の逆関係をフィルタリング • WN18A ◦ 関係種類を増やさずにノード数とトリプル数を増やす • WN25 ◦ 全部増やす 7 データセット 関係数 ノード数 トリプル数 WN18 18 40,943 141,442 WN18RR 11 40,943 93,003 WN18A 18 112,195 217,495 WN26 25 116,744 363,593
8. 検証実験設定 • （再考）仮説： ◦ KBEモデルは単語間の関係を捉えている⇒語義も捉えられている。 ◦ KBEモデルの関係予測性能は他のタスクの性能の代理＝関係予測ができれば語義タスクもできる • 使用するモデル： ◦ TransE, DistMult, MuRP, FuncE, KBGAT, rGAT, Wnet2vec (Baseline) • 訓練データ：WN18RR, WN18A, WN25 • パラメータ：Table 8 • 評価指標： ◦ 関係予測タスク：MRR（平均逆順位）とHits＠k（正解が上位k個の答えにある割合） ◦ 語義タスク：4種類のタスクで評価 8
9. 語義モデリング性能評価 • Word Similarity: SimLex999 ◦ Spearman rho • Word Analogy: BATS ◦ Hits@10 • POS-tagging: PTB ◦ acc. • NER: CoNLL’03 ◦ F1 score 9
10. 関係予測タスクと語義タスクの性能は負の相関 10
11. Good at Link Prediction ≠ Good at Semantics • 関係予測の性能と語義タスクの性能が負の相関 • 同種類タスクの性能は正の相関 11
12. 関係予測タスクと語義タスクの性能は負の相関 12
13. 語義類似性・類推は品詞タグ付け・NERと正の相関 13
14. 訓練データ量の影響 • 訓練データを増やしても性能向上は見られない（むしろ低下した場合が多い） • DistMultとrGATの性能低下は関係スコアが言語性質を考慮しないに起因すると 14
15. 上位関係が近い単語の語義類似性を表現しにくい • 上位関係が近い単語の類似度が高いはず • TransEはOKだが、DistMultとrGATは表現できていない 15 ナス科野菜＿＿＿＿＿＿＿＿＿
16. 上下位関係の推移性を表現しにくい • ほぼ全部のKBEモデルが上位語の推移関係を予測できない • FuncEはファジィ関数のため性質上推移を表現できる 16 Potatoは野菜、野菜は食べ物⇒Potatoは食べ物
17. 語義タスクで単語品詞別の影響とデータ量の影響 • 類似度タスクでは形容詞が名詞と動詞より結果がよい • KBEモデルは辺の数が多いノードに高い類似度を与える傾向がある • 関連性は高いが類似度が低い関係に高いスコア　は SimLexの語義類似度に反する • WN18A→WN25データを増やすことで、類似度タスクで性能低下・類推タスクが性能向上 17
18. 本研究はKEBモデルの語義モデリング能力を評価した。 2つの仮説を検証したところ • KBEモデルは、関係予測でいい性能≠語義類似度タスクでいい性能 • 関係予測評価はKBEモデルの語義モデリング能力の評価に向いていない Conclusions 18