Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recom...
Search
cocomoff
July 04, 2023
Research
0
78
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball
論文読み会の資料です.
(A slide for the paper-reading activity at my company, written in Japanese.)
cocomoff
July 04, 2023
Tweet
Share
More Decks by cocomoff
See All by cocomoff
論文読み会 NeurIPS2024 | UrbanKGent: A Unified Large Language Model Agent Framework for Urban Knowledge Graph Construction
cocomoff
1
61
論文読み会 AMAI | Personalized choice prediction with less user information
cocomoff
0
46
論文読み会 KDD2024 | Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations
cocomoff
0
230
論文読み会 KDD2022 | Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation
cocomoff
0
130
論文読み会 AISTATS2024 | Deep Learning-Based Alternative Route Computation
cocomoff
0
41
論文読み会 WWW2022 | Learning Probabilistic Box Embeddings for Effective and Efficient Ranking
cocomoff
0
290
ClimaX: A foundation model for weather and climate
cocomoff
0
580
論文読み会 AAAI2022 | MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
cocomoff
0
230
論文読み会 EMNLP2021 | Decision-Focused Summarization
cocomoff
0
210
Other Decks in Research
See All in Research
IMC の細かすぎる話 2025
smly
2
420
Computational OT #1 - Monge and Kantorovitch
gpeyre
0
210
数理最適化と機械学習の融合
mickey_kubo
15
9k
LLM-as-a-Judge: 文章をLLMで評価する@教育機関DXシンポ
k141303
3
840
cvpaper.challenge 10年の軌跡 / cvpaper.challenge a decade-long journey
gatheluck
1
250
データサイエンティストの就労意識~2015→2024 一般(個人)会員アンケートより
datascientistsociety
PRO
0
750
Mechanistic Interpretability:解釈可能性研究の新たな潮流
koshiro_aoki
1
370
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
510
ストレス計測方法の確立に向けたマルチモーダルデータの活用
yurikomium
0
870
SkySense : A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery
satai
3
280
定性データ、どう活かす? 〜定性データのための分析基盤、はじめました〜 / How to utilize qualitative data? ~We have launched an analysis platform for qualitative data~
kaminashi
7
1.1k
業界横断 副業・兼業者の実態調査
fkske
0
200
Featured
See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
It's Worth the Effort
3n
185
28k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Agile that works and the tools we love
rasmusluckow
329
21k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Code Review Best Practice
trishagee
69
19k
Docker and Python
trallard
45
3.5k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1k
Transcript
Knowledge-Enhanced Top-K Recommendation in Poincaré Ball 著者: Chen Ma, Liheng
Ma, Yingxue Zhang, Haolun Wu, Xue Liu, Mark Coates (McGill Univ. & Huawei Noah's Ark Lab Montreal) 学会: AAAI2021 2023-7-4 @cocomoff 1/17
発表の内容 推薦モデル + 知識グラフ 推薦モデル: 過去のログから (未知) アイテムの評価値を推定する 知識グラフ: 外部知識を表現する
(e.g., 同じ監督の作品; directed_by) 著者らの4つの貢献 (3つの技術的な貢献+実験) (1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した (3) ハイパーパラメータに対処するためにバイレベル最適化を導入した (4) 実験で性能を確認した 2/17
概要 (イントロ) 推薦モデル (例: アイテムの評価値を計算する) + 知識グラフ (例: 同じ監督) KG活用のこれまでのアプローチと課題
[アプローチ] Path-based: KG上の経路を使って高次の情報を活用する [アプローチ] Regularization-based: KG由来のロスを追加する [課題] KG埋め込みがユークリッド空間 [課題] KG上で隣接するentityの扱いが効率的ではなかった [課題] KG由来のロスを制御するハイパーパラメータの調整が難しかった 提案手法 (後述) は前ページの3つの技術的な貢献によって良い性能を出した 3/17
(1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した 4/17
ポアンカレ埋め込みの復習 非ユークリッド空間の1つである、双極空間に埋め 込む手法の代表例 (NeurIPS2017) 次元 、半径 の空間 ; . 局所的な測り方
ユークリッド空間: ; 円周に近づくと無限 距離 (歪んでるので測地線を使う) として : メビウス和 (右) 歴史的には他にもあった 勾配法は少し改造 (Riemannian SGD) 勾配を求めて、軽量を直して (歪み補正)、更新して、歪んだ空間に戻す 5/17
埋め込みベクトルとランキングロス・知識グラフ ランキングロス [前ページ] ベクトル の間の距離 が得られた ユーザ と アイテム の距離
を用いてランキングロスを考える ユーザ 、正例 、負例 について: KG 知識グラフ あるアイテム のKG情報 TransE-styleの埋め込みを考える (ユークリッド空間で のこと) ポアンカレ空間上の距離が近いと大きくなる重み 6/17
知識グラフの活用 近傍の情報を集約すれば良いが、曲がっている空間で重み付き集約できるのか 提案手法: hyperbolic attention [知見1] 双極空間モデルの1つであるクライン円盤モデルでは、Einstein midpoint という名前のものが存在することが知られている [知見2]
クライン円盤モデル( )とポアンカレボール( )は対応関係がある 対応関係は 7/17
知識グラフの活用(全体のロス) ポアンカレ埋め込みを学習するとき、知識グラフのデータを活用したい 英語: "The goal is to transfer the inductive
bias in KG to the item representation:" 乖離具合を評価するために、集約したものと学習している埋め込みベクトルとの距離 を使う 全体のロスは 8/17
(3) ハイパーパラメータに対処するためにバイレベル最適化を導入した 9/17
ロスのパラメータ化とバイレベル最適化 これまでもロスをくっつけるタイプの枠組みはあったが [課題1] ハイパラ の扱いが微妙だった (固定するとデータセットで異なる) [課題2] そもそもアイテム によって の強さが変わりそう
[課題3] 学習が進んでいくとそもそも の調整がいりそう 対策: ロスをパラメタライズする: . バイレベル最適化 (最適化が入れ子になったやつ。NASがとかもそう) に落とし込む 内側 (inner): を固定したときの全体ロス最良な を求める 外側 (outer): に対してランキングロス最良な を求める 10/17
バイレベル最適化を交互最適化と正則化を着けて解く 入れ子になっていても勾配は近似できる 近似関係を使って更新式を代用する (define a proxy function to link ...)
あとは と を順番に更新する Adamを使う 正則化も乗っている 結局ハイパラ は復活したけど、[課題 2]と[課題3] は対応できてそう 11/17
バイレベル最適化のブロック図 12/17
(4) 実験で性能を確認した 13/17
データセット・比較手法・結果 推薦でよく出てくるデータセット: Amazon-book、Last-FM、Yelp2018 いずれも80%を学習データ (内10%がvalidation)に、20%をテストデータに 評価指標: Recall@K と NDCG@K 比較手法
Factorization Machine とそのニューラルタイプ: MF/NMF 既存のKG活用手法: CKE (MF+TransR)/CFKG (TransE)/RippleNet/GC- MC (GCN)/KGAT 提案手法 Hyper-Know 14/17
Ablation BPR + E/H (Euclidean v.s. Hyperbolic) BPR + Att
+ E/H (Hyperbolic Attentionの比較) BPR + Avg + H (BPR + Att + H のAttをただの平均に置き換えた) Hyper-Know (全部) 15/17
計算時間・埋め込みの可視化 効率的 埋め込みを可視化した例 (3階層ぐらいを学習した) 16/17
まとめ (再掲) 推薦モデル + 知識グラフ 推薦モデル: 過去のログから (未知) アイテムの評価値を推定する 知識グラフ:
外部知識を表現する (e.g., 同じ監督の作品; directed_by) 著者らの4つの貢献 (3つの技術的な貢献+実験) (1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した (3) ハイパーパラメータに対処するためにバイレベル最適化を導入した (4) 実験で性能を確認した 17/17