Upgrade to Pro — share decks privately, control downloads, hide ads and more …

WSDM 2018 論文読み会 Hyperbolic Representation Learn...

nishiba
April 14, 2018

WSDM 2018 論文読み会 Hyperbolic Representation Learning for Fast and Efficient Neural Qestion Answering

nishiba

April 14, 2018
Tweet

More Decks by nishiba

Other Decks in Technology

Transcript

  1. Hyperbolic Representation Learning for Fast and Efficient Neural Qestion Answering

    WSDM 2018 論文読み会 2018/04/14 m_nishiba paper: https://arxiv.org/pdf/1707.07847.pdf ( 資料内の図表は全て上記の論文より転載) 1
  2. バックグラウンド 解くべき問題は” 質問” と” 解答群” が与えられたときに、 最も良 い” 解答” を見つけること。

    Q: "Which teams won top three in the World Cup?" A1: "Germany is the champion of the World Cup." A2: "THe top theree of the European CUp are Spain, Netherlands and Germany." 既存の方法では、 i. 質問と解答をRNN やCNN でembedding する (Q とA で違うネットワー クを使うことが多い)。 ii. 質問と解答のembedding から相互作用のある関数でマッチング スコアを計算する。 3
  3. Learning QA Representations y = x 単純に要素単位の和をとる。LSTM やCNN を使わない。 HyperQA

    では、 単位球に制限にする必要がある。 y = if ∣∣y∣∣ > 1 i ∑ i ∣∣y∣∣ y 8
  4. Hyper Representations of QA Pairs Hyperbolic 距離関数を使う。 d(q, a) =

    arcosh 1 + 2 arcosh(z) = ln(z + ) ∣∣ ⋅ ∣∣はユー クリッド距離 Similarity Scoring Layer s(q, a) = w d(q, a) + b ( (1 − ∣∣q∣∣ )(1 − ∣∣a∣∣ ) 2 2 ∣∣q − a∣∣2 ) √z − 1 2 f f 9
  5. Optimization and Learning Loss = max(0, s(q, a) + λ

    − s(q, a )) Δ : 正例、λ: マー ジン 負例のサンプリングにはmix sampling を使う。 ランダムサンプリング と 間違いが最大となる例 勾配 ∇ = ∇ (q,a)∈Δq ∑ (q,a )∉Δ ′ q ∑ ′ q R 4 (1 − ∣∣θ ∣∣ ) t 2 2 E 10
  6. 13

  7. 14

  8. 15

  9. 16