Upgrade to Pro — share decks privately, control downloads, hide ads and more …

IRReading2020Fall-yanagida

YANAGIDA Yuki
October 31, 2020

 IRReading2020Fall-yanagida

IR Reading 2020秋(オンライン)で以下の論文を紹介しました.
Sijin Zhou, Xinyi Dai, Haokun Chen, Weinan Zhang, Kan Ren, Ruiming Tang, Xiuqiang He, Yong Yu. Interactive Recommender System via Knowledge Graph-enhanced Reinforcement Learning. Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR 2020). 2020, https://dl.acm.org/doi/10.1145/3397271.3401174.
Jibing Gong, Shen Wang, Jinlong Wang, Wenzheng Feng, Hao Peng, Jie Tang, Philip S. Yu. Attentional Graph Convolutional Networks for Knowledge Concept Recommendation in MOOCs in a Heterogeneous View. Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval(SIGIR 2020). 2020, https://dl.acm.org/doi/10.1145/3397271.3401057.

YANAGIDA Yuki

October 31, 2020
Tweet

More Decks by YANAGIDA Yuki

Other Decks in Research

Transcript

  1. 筑波大学 加藤研究室 B4 柳田雄輝 https://ynagi2.github.io/ Interactive Recommender System via Knowledge

    Graph- enhanced Reinforcement Learning(SIGIR 2020) Attentional Graph Convolutional Networks for Knowledge Concept Recommendation in MOOCs in a Heterogeneous View(SIGIR 2020) の紹介 2020-10-31 IR Reading 2020秋(オンライン)
  2. Interactive Recommender System via Knowledge Graph-enhanced Reinforcement Learning(SIGIR 2020) 2

    Authors: Sijin Zhou, Xinyi Dai, Haokun Chen, Weinan Zhang, Kan Ren, Ruiming Tang, Xiuqiang He, Yong Yu
  3. • グラフに強化学習を用いた推薦手法が提案されている ◦ 強化学習のエージェントがグラフ上を探索 ◦ エージェントが辿ったパスから多様なアイテムを推薦可能 背景 3 NES CAFE

    うまい棒 pocky KitKat 共に買われたアイテムのネットワーク エージェント NES CAFE pocky KitKat pockyを買った人に NESCAFEを推薦 エージェントが辿ったパス 例
  4. • 強化学習では多くのサンプリングとデータが必要 ◦ エージェントの試行回数がかなり必要 • 効率的に学習したい • エージェントに知識グラフを探索させ効率的に学習 ◦ e.g.

    うまい棒を見たユーザに対してはお菓子を中心に探索 本研究のアイデア 4 NES CAFE pocky KitKat Nestle お菓子 うまい 棒 知識グラフ お菓子以外は探索されない 2-hopまで辿るとすると, 任意のお菓子を辿れる produced by belongs to
  5. グラフ構造を加味した埋め込みをクリックしたアイテム順に RNNへ入力,状態(ユーザの選好)を得る 手法 1/2 (状態の表現) 6 Graph Convolutional Network(GCN)でグラフ構造を加味 アイテムの

    埋め込み グラフ構造を加味した 埋め込みに変換 例 A B C 特徴量を持ったノード GCN A B C グラフ構造を加味した 特徴量を持ったノード
  6. アイテムが32回クリックされるまでの平均報酬, 平均累積適合率,平均累積再現率で評価 評価 8 • データセットはBook-Crossing, MovieLens ◦ シミュレーションにより実験 ◦

    報酬(エージェントの評価)はシミュレーションで期待される レーティング値と推薦の成功回数を用いて決定 • ベースラインはGreedySVDやDDPG[1]など ◦ DDPG: 連続値空間でKNN+Q学習を用いて推薦を行う手法 [1] Dulac-Arnold et al. Deep reinforcement learning in large discrete action spaces. arXiv preprint arXiv:1512.07679 (2015)
  7. Attentional Graph Convolutional Networks for Knowledge Concept Recommendation in MOOCs

    in a Heterogeneous View(SIGIR 2020) 12 Authors: Jibing Gong, Shen Wang, Jinlong Wang, Wenzheng Feng, Hao Peng, Jie Tang, Philip S. Yu
  8. MOOCsで講義コースではなくknowledge conceptを推薦 ◦ knowledge concept(KC): depth-first search, binary tree など

    • 各講義動画のタグのような役割を果たす ◦ 目的: よりミクロな興味を考慮した推薦を可能にする 研究目的 13 MOOCsでのデータ例 ユーザのたどったKC
  9. 手法の流れ 14 word2vecで KCを埋め込む Matrix Factorizationでユーザの KCへの興味を予測 クリック情報などからメタパスを 表す行列を生成 •

    メタパス: ノードを抽象化したパス ◦ ノード間の関係性を表現できる ◦ e.g. user-course-userは同じコースを受講する人の関係 生成した行列を考慮した 埋め込みを得る Attentionで 重み付け
  10. • knowledge conceptを考慮することで,よりミクロな 興味を考慮した推薦を可能にした ◦ よりユーザの要求に即した推薦を行っている ◦ knowledge concept(KC): depth-first

    search, binary tree など • メタパスとAttentionを用いてKCへの興味を予測 ◦ ノード間の関係性をメタパスで表し従来のコース推薦手法 と比較 まとめ 16