Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recom...
Search
cocomoff
July 04, 2023
Research
0
80
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball
論文読み会の資料です.
(A slide for the paper-reading activity at my company, written in Japanese.)
cocomoff
July 04, 2023
Tweet
Share
More Decks by cocomoff
See All by cocomoff
論文読み会 NeurIPS2024 | UrbanKGent: A Unified Large Language Model Agent Framework for Urban Knowledge Graph Construction
cocomoff
1
70
論文読み会 AMAI | Personalized choice prediction with less user information
cocomoff
0
54
論文読み会 KDD2024 | Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations
cocomoff
0
240
論文読み会 KDD2022 | Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation
cocomoff
0
140
論文読み会 AISTATS2024 | Deep Learning-Based Alternative Route Computation
cocomoff
0
44
論文読み会 WWW2022 | Learning Probabilistic Box Embeddings for Effective and Efficient Ranking
cocomoff
0
300
ClimaX: A foundation model for weather and climate
cocomoff
0
590
論文読み会 AAAI2022 | MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
cocomoff
0
240
論文読み会 EMNLP2021 | Decision-Focused Summarization
cocomoff
0
210
Other Decks in Research
See All in Research
Language Models Are Implicitly Continuous
eumesy
PRO
0
230
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
160
AI エージェントを活用した研究再現性の自動定量評価 / scisci2025
upura
1
150
Minimax and Bayes Optimal Best-arm Identification: Adaptive Experimental Design for Treatment Choice
masakat0
0
170
PhD Defense 2025: Visual Understanding of Human Hands in Interactions
tkhkaeio
1
190
cvpaper.challenge 10年の軌跡 / cvpaper.challenge a decade-long journey
gatheluck
3
310
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
520
AIグラフィックデザインの進化:断片から統合(One Piece)へ / From Fragment to One Piece: A Survey on AI-Driven Graphic Design
shunk031
0
450
2021年度-基盤研究B-研究計画調書
trycycle
PRO
0
300
AlphaEarth Foundations: An embedding field model for accurate and efficient global mapping from sparse label data
satai
1
220
日本語新聞記事を用いた大規模言語モデルの暗記定量化 / LLMC2025
upura
0
190
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
110
Featured
See All Featured
Producing Creativity
orderedlist
PRO
347
40k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Gamification - CAS2011
davidbonilla
81
5.4k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
31
2.2k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
Designing Experiences People Love
moore
142
24k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.8k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Transcript
Knowledge-Enhanced Top-K Recommendation in Poincaré Ball 著者: Chen Ma, Liheng
Ma, Yingxue Zhang, Haolun Wu, Xue Liu, Mark Coates (McGill Univ. & Huawei Noah's Ark Lab Montreal) 学会: AAAI2021 2023-7-4 @cocomoff 1/17
発表の内容 推薦モデル + 知識グラフ 推薦モデル: 過去のログから (未知) アイテムの評価値を推定する 知識グラフ: 外部知識を表現する
(e.g., 同じ監督の作品; directed_by) 著者らの4つの貢献 (3つの技術的な貢献+実験) (1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した (3) ハイパーパラメータに対処するためにバイレベル最適化を導入した (4) 実験で性能を確認した 2/17
概要 (イントロ) 推薦モデル (例: アイテムの評価値を計算する) + 知識グラフ (例: 同じ監督) KG活用のこれまでのアプローチと課題
[アプローチ] Path-based: KG上の経路を使って高次の情報を活用する [アプローチ] Regularization-based: KG由来のロスを追加する [課題] KG埋め込みがユークリッド空間 [課題] KG上で隣接するentityの扱いが効率的ではなかった [課題] KG由来のロスを制御するハイパーパラメータの調整が難しかった 提案手法 (後述) は前ページの3つの技術的な貢献によって良い性能を出した 3/17
(1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した 4/17
ポアンカレ埋め込みの復習 非ユークリッド空間の1つである、双極空間に埋め 込む手法の代表例 (NeurIPS2017) 次元 、半径 の空間 ; . 局所的な測り方
ユークリッド空間: ; 円周に近づくと無限 距離 (歪んでるので測地線を使う) として : メビウス和 (右) 歴史的には他にもあった 勾配法は少し改造 (Riemannian SGD) 勾配を求めて、軽量を直して (歪み補正)、更新して、歪んだ空間に戻す 5/17
埋め込みベクトルとランキングロス・知識グラフ ランキングロス [前ページ] ベクトル の間の距離 が得られた ユーザ と アイテム の距離
を用いてランキングロスを考える ユーザ 、正例 、負例 について: KG 知識グラフ あるアイテム のKG情報 TransE-styleの埋め込みを考える (ユークリッド空間で のこと) ポアンカレ空間上の距離が近いと大きくなる重み 6/17
知識グラフの活用 近傍の情報を集約すれば良いが、曲がっている空間で重み付き集約できるのか 提案手法: hyperbolic attention [知見1] 双極空間モデルの1つであるクライン円盤モデルでは、Einstein midpoint という名前のものが存在することが知られている [知見2]
クライン円盤モデル( )とポアンカレボール( )は対応関係がある 対応関係は 7/17
知識グラフの活用(全体のロス) ポアンカレ埋め込みを学習するとき、知識グラフのデータを活用したい 英語: "The goal is to transfer the inductive
bias in KG to the item representation:" 乖離具合を評価するために、集約したものと学習している埋め込みベクトルとの距離 を使う 全体のロスは 8/17
(3) ハイパーパラメータに対処するためにバイレベル最適化を導入した 9/17
ロスのパラメータ化とバイレベル最適化 これまでもロスをくっつけるタイプの枠組みはあったが [課題1] ハイパラ の扱いが微妙だった (固定するとデータセットで異なる) [課題2] そもそもアイテム によって の強さが変わりそう
[課題3] 学習が進んでいくとそもそも の調整がいりそう 対策: ロスをパラメタライズする: . バイレベル最適化 (最適化が入れ子になったやつ。NASがとかもそう) に落とし込む 内側 (inner): を固定したときの全体ロス最良な を求める 外側 (outer): に対してランキングロス最良な を求める 10/17
バイレベル最適化を交互最適化と正則化を着けて解く 入れ子になっていても勾配は近似できる 近似関係を使って更新式を代用する (define a proxy function to link ...)
あとは と を順番に更新する Adamを使う 正則化も乗っている 結局ハイパラ は復活したけど、[課題 2]と[課題3] は対応できてそう 11/17
バイレベル最適化のブロック図 12/17
(4) 実験で性能を確認した 13/17
データセット・比較手法・結果 推薦でよく出てくるデータセット: Amazon-book、Last-FM、Yelp2018 いずれも80%を学習データ (内10%がvalidation)に、20%をテストデータに 評価指標: Recall@K と NDCG@K 比較手法
Factorization Machine とそのニューラルタイプ: MF/NMF 既存のKG活用手法: CKE (MF+TransR)/CFKG (TransE)/RippleNet/GC- MC (GCN)/KGAT 提案手法 Hyper-Know 14/17
Ablation BPR + E/H (Euclidean v.s. Hyperbolic) BPR + Att
+ E/H (Hyperbolic Attentionの比較) BPR + Avg + H (BPR + Att + H のAttをただの平均に置き換えた) Hyper-Know (全部) 15/17
計算時間・埋め込みの可視化 効率的 埋め込みを可視化した例 (3階層ぐらいを学習した) 16/17
まとめ (再掲) 推薦モデル + 知識グラフ 推薦モデル: 過去のログから (未知) アイテムの評価値を推定する 知識グラフ:
外部知識を表現する (e.g., 同じ監督の作品; directed_by) 著者らの4つの貢献 (3つの技術的な貢献+実験) (1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した (3) ハイパーパラメータに対処するためにバイレベル最適化を導入した (4) 実験で性能を確認した 17/17