Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recom...
Search
cocomoff
July 04, 2023
Research
0
63
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball
論文読み会の資料です.
(A slide for the paper-reading activity at my company, written in Japanese.)
cocomoff
July 04, 2023
Tweet
Share
More Decks by cocomoff
See All by cocomoff
論文読み会 NeurIPS2024 | UrbanKGent: A Unified Large Language Model Agent Framework for Urban Knowledge Graph Construction
cocomoff
1
13
論文読み会 AMAI | Personalized choice prediction with less user information
cocomoff
0
33
論文読み会 KDD2024 | Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations
cocomoff
0
180
論文読み会 KDD2022 | Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation
cocomoff
0
86
論文読み会 AISTATS2024 | Deep Learning-Based Alternative Route Computation
cocomoff
0
33
論文読み会 WWW2022 | Learning Probabilistic Box Embeddings for Effective and Efficient Ranking
cocomoff
0
270
ClimaX: A foundation model for weather and climate
cocomoff
0
540
論文読み会 AAAI2022 | MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
cocomoff
0
190
論文読み会 EMNLP2021 | Decision-Focused Summarization
cocomoff
0
190
Other Decks in Research
See All in Research
Mathematics in the Age of AI and the 4 Generation University
hachama
0
140
Zipf 白色化:タイプとトークンの区別がもたらす良質な埋め込み空間と損失関数
eumesy
PRO
8
1.5k
さくらインターネット研究所 アップデート2025年
matsumoto_r
PRO
0
430
インドネシアのQA事情を紹介するの
yujijs
0
170
Weekly AI Agents News!
masatoto
32
59k
Poster: Feasibility of Runtime-Neutral Wasm Instrumentation for Edge-Cloud Workload Handover
chikuwait
0
430
ベイズ的方法に基づく統計的因果推論の基礎
holyshun
0
920
Weekly AI Agents News! 11月号 プロダクト/ニュースのアーカイブ
masatoto
0
320
Weekly AI Agents News! 12月号 論文のアーカイブ
masatoto
0
250
PetiteSRE_GenAIEraにおけるインフラのあり方観察
ichichi
0
290
移動ビッグデータに基づく地理情報の埋め込みベクトル化
tam1110
0
270
LLM 시대의 Compliance: Safety & Security
huffon
0
630
Featured
See All Featured
Site-Speed That Sticks
csswizardry
4
450
GraphQLの誤解/rethinking-graphql
sonatard
70
10k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
How to train your dragon (web standard)
notwaldorf
91
5.9k
How GitHub (no longer) Works
holman
314
140k
A Modern Web Designer's Workflow
chriscoyier
693
190k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.7k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Fireside Chat
paigeccino
37
3.3k
How to Ace a Technical Interview
jacobian
276
23k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
177
52k
Optimising Largest Contentful Paint
csswizardry
35
3.2k
Transcript
Knowledge-Enhanced Top-K Recommendation in Poincaré Ball 著者: Chen Ma, Liheng
Ma, Yingxue Zhang, Haolun Wu, Xue Liu, Mark Coates (McGill Univ. & Huawei Noah's Ark Lab Montreal) 学会: AAAI2021 2023-7-4 @cocomoff 1/17
発表の内容 推薦モデル + 知識グラフ 推薦モデル: 過去のログから (未知) アイテムの評価値を推定する 知識グラフ: 外部知識を表現する
(e.g., 同じ監督の作品; directed_by) 著者らの4つの貢献 (3つの技術的な貢献+実験) (1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した (3) ハイパーパラメータに対処するためにバイレベル最適化を導入した (4) 実験で性能を確認した 2/17
概要 (イントロ) 推薦モデル (例: アイテムの評価値を計算する) + 知識グラフ (例: 同じ監督) KG活用のこれまでのアプローチと課題
[アプローチ] Path-based: KG上の経路を使って高次の情報を活用する [アプローチ] Regularization-based: KG由来のロスを追加する [課題] KG埋め込みがユークリッド空間 [課題] KG上で隣接するentityの扱いが効率的ではなかった [課題] KG由来のロスを制御するハイパーパラメータの調整が難しかった 提案手法 (後述) は前ページの3つの技術的な貢献によって良い性能を出した 3/17
(1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した 4/17
ポアンカレ埋め込みの復習 非ユークリッド空間の1つである、双極空間に埋め 込む手法の代表例 (NeurIPS2017) 次元 、半径 の空間 ; . 局所的な測り方
ユークリッド空間: ; 円周に近づくと無限 距離 (歪んでるので測地線を使う) として : メビウス和 (右) 歴史的には他にもあった 勾配法は少し改造 (Riemannian SGD) 勾配を求めて、軽量を直して (歪み補正)、更新して、歪んだ空間に戻す 5/17
埋め込みベクトルとランキングロス・知識グラフ ランキングロス [前ページ] ベクトル の間の距離 が得られた ユーザ と アイテム の距離
を用いてランキングロスを考える ユーザ 、正例 、負例 について: KG 知識グラフ あるアイテム のKG情報 TransE-styleの埋め込みを考える (ユークリッド空間で のこと) ポアンカレ空間上の距離が近いと大きくなる重み 6/17
知識グラフの活用 近傍の情報を集約すれば良いが、曲がっている空間で重み付き集約できるのか 提案手法: hyperbolic attention [知見1] 双極空間モデルの1つであるクライン円盤モデルでは、Einstein midpoint という名前のものが存在することが知られている [知見2]
クライン円盤モデル( )とポアンカレボール( )は対応関係がある 対応関係は 7/17
知識グラフの活用(全体のロス) ポアンカレ埋め込みを学習するとき、知識グラフのデータを活用したい 英語: "The goal is to transfer the inductive
bias in KG to the item representation:" 乖離具合を評価するために、集約したものと学習している埋め込みベクトルとの距離 を使う 全体のロスは 8/17
(3) ハイパーパラメータに対処するためにバイレベル最適化を導入した 9/17
ロスのパラメータ化とバイレベル最適化 これまでもロスをくっつけるタイプの枠組みはあったが [課題1] ハイパラ の扱いが微妙だった (固定するとデータセットで異なる) [課題2] そもそもアイテム によって の強さが変わりそう
[課題3] 学習が進んでいくとそもそも の調整がいりそう 対策: ロスをパラメタライズする: . バイレベル最適化 (最適化が入れ子になったやつ。NASがとかもそう) に落とし込む 内側 (inner): を固定したときの全体ロス最良な を求める 外側 (outer): に対してランキングロス最良な を求める 10/17
バイレベル最適化を交互最適化と正則化を着けて解く 入れ子になっていても勾配は近似できる 近似関係を使って更新式を代用する (define a proxy function to link ...)
あとは と を順番に更新する Adamを使う 正則化も乗っている 結局ハイパラ は復活したけど、[課題 2]と[課題3] は対応できてそう 11/17
バイレベル最適化のブロック図 12/17
(4) 実験で性能を確認した 13/17
データセット・比較手法・結果 推薦でよく出てくるデータセット: Amazon-book、Last-FM、Yelp2018 いずれも80%を学習データ (内10%がvalidation)に、20%をテストデータに 評価指標: Recall@K と NDCG@K 比較手法
Factorization Machine とそのニューラルタイプ: MF/NMF 既存のKG活用手法: CKE (MF+TransR)/CFKG (TransE)/RippleNet/GC- MC (GCN)/KGAT 提案手法 Hyper-Know 14/17
Ablation BPR + E/H (Euclidean v.s. Hyperbolic) BPR + Att
+ E/H (Hyperbolic Attentionの比較) BPR + Avg + H (BPR + Att + H のAttをただの平均に置き換えた) Hyper-Know (全部) 15/17
計算時間・埋め込みの可視化 効率的 埋め込みを可視化した例 (3階層ぐらいを学習した) 16/17
まとめ (再掲) 推薦モデル + 知識グラフ 推薦モデル: 過去のログから (未知) アイテムの評価値を推定する 知識グラフ:
外部知識を表現する (e.g., 同じ監督の作品; directed_by) 著者らの4つの貢献 (3つの技術的な貢献+実験) (1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した (2) KGの情報を活用するためにアテンションのような構造を導入した (3) ハイパーパラメータに対処するためにバイレベル最適化を導入した (4) 実験で性能を確認した 17/17