Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文読み会 KDD2024 | Relevance meets Diversity: A Us...
Search
cocomoff
September 12, 2024
Research
0
240
論文読み会 KDD2024 | Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations
論文読み会の資料です.
(A slide for the paper-reading activity at my company, written in Japanese.)
cocomoff
September 12, 2024
Tweet
Share
More Decks by cocomoff
See All by cocomoff
論文読み会 NeurIPS2024 | UrbanKGent: A Unified Large Language Model Agent Framework for Urban Knowledge Graph Construction
cocomoff
1
70
論文読み会 AMAI | Personalized choice prediction with less user information
cocomoff
0
53
論文読み会 KDD2022 | Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation
cocomoff
0
140
論文読み会 AISTATS2024 | Deep Learning-Based Alternative Route Computation
cocomoff
0
44
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball
cocomoff
0
80
論文読み会 WWW2022 | Learning Probabilistic Box Embeddings for Effective and Efficient Ranking
cocomoff
0
300
ClimaX: A foundation model for weather and climate
cocomoff
0
590
論文読み会 AAAI2022 | MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
cocomoff
0
240
論文読み会 EMNLP2021 | Decision-Focused Summarization
cocomoff
0
210
Other Decks in Research
See All in Research
Generative Models 2025
takahashihiroshi
25
13k
Vision and LanguageからのEmbodied AIとAI for Science
yushiku
PRO
1
530
数理最適化に基づく制御
mickey_kubo
6
730
[RSJ25] Enhancing VLA Performance in Understanding and Executing Free-form Instructions via Visual Prompt-based Paraphrasing
keio_smilab
PRO
0
100
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
2
980
[CV勉強会@関東 CVPR2025] VLM自動運転model S4-Driver
shinkyoto
2
480
MetaEarth: A Generative Foundation Model for Global-Scale Remote Sensing Image Generation
satai
4
190
単施設でできる臨床研究の考え方
shuntaros
0
2.7k
論文紹介:Not All Tokens Are What You Need for Pretraining
kosuken
0
170
SSII2025 [TS3] 医工連携における画像情報学研究
ssii
PRO
2
1.3k
最適化と機械学習による問題解決
mickey_kubo
0
170
多言語カスタマーインタビューの“壁”を越える~PMと生成AIの共創~ 株式会社ジグザグ 松野 亘
watarumatsuno
0
120
Featured
See All Featured
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Embracing the Ebb and Flow
colly
87
4.8k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
The Power of CSS Pseudo Elements
geoffreycrofte
77
6k
How STYLIGHT went responsive
nonsquared
100
5.8k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
KATA
mclloyd
32
14k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Docker and Python
trallard
45
3.6k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
Transcript
2024-09-03 Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration
through Recommendations (KDD’24) ಡΉਓ: @cocomoff
RSがサポートする知識探索の プロセスについて、3要素を考慮した研究 (1)推薦の関連性 (relevance) (2)推薦の多様性 (diversity) (3)ユーザの選択行動モデル
イントロ •(1)関連性 (2)多様性 をバランスさせる手法は広く研究されている • 推薦アイテムのリストをつくるとき、多様性を評価にいれる • リストを構築してから、re-rankingモデルをいれる •リストに対するユーザの消費行動モデルみたいなものも注目されている •UBM
(User-Behavior Modeling) •ユーザ のアイテム に関する確率モデル に関する研究 •{系列,会話的} {推薦,検索} の一領域 •Q: (推薦したあとの)ユーザモデルを考慮したとき、 推薦する部分は何をするべきなのか? •提案: ユーザが受け取る知識量を最大化する推薦システム u i p(u, i) 古典的なやつ (1998)
イントロ (続き) •提案: ユーザが受け取る知識量を最大化する推薦システム アイテム 情報のカバー率 (a)フィルターバブル的なもの (b)広い範囲を出しているが スカスカ過ぎてユーザが離脱してしまいそう (low
relevance, high diversity) (c) ちょうど良さそう ৽͍͠ख๏ΛఏҊ͢ΔλΠϓͱ͍͏ΑΓ ͜ͷ͋ͨΒ͍͠ίϯηϓτΛ ͏·͘Ϟσϧʹམͱͯ͠ݕূ͢Δจ
目次 •イントロ •ユーザモデルと問題の定式化 •実験
ユーザモデルに基づくシミュレーション •「リストに対するユーザの消費行動モデルみたいなものも注目されている」 の実装 (Alg. 1, Alg. 2) • メモ: いきなり天下り的に出てくるが「普通のプロセス」を書いたらこうなるというぐらいのもの
推薦 ユーザモデル ユーザがシステムから離脱するかどうか (離脱しなければ、次ステップの推薦) 前から順番に「興味」を判定 前から順番に「消費」を判定 確率 で リスト走査から離脱 ηt 確率 で アイテム に興味を持つ qi i 確率 で アイテム を消費する pi i 直感的には: コンセプトを達成するには、 ユーザモデル のもとで 推薦戦略 ( を出力する部分) をカスタマイズし、 ユーザができるだけ情報を探索できるようにする ({ηt }, {qi }, {pi }) Lt
補足: 推薦リストの作成 (既存手法ベース) •新しい推薦手法を提案する論文ではないので、既存手法を使う • (1) カバー率に基づいた手法 • (2) ペアワイズ距離に基づいた手法
(0)ペアワイズ距離関数 ・ユークリッド距離 ・コサイン類似度 ・ミンコフスキー距離 ・重み付きJaccard距離 d(i, j) := 1 − ∑ w∈W min{ziw , zjw } ∑ w∈W max{ziw , zjw } は例えばitem-userの インタラクションの{0,1} ziw (1)カバー率に基づく多様性 divC ( 𝒳 ) = 1 |C| ∥⋁ i∈X yi ∥0 ・ 個のカテゴリをどれぐらい含むか C (2)ペアワイズ距離に基づく多様性 divD ( 𝒳 ) = 1 | 𝒳 | − 1 ∑ i∈ 𝒳 ∑ j∈ 𝒳 d(i, j) ԿͰ͍͍ దͳඇྨࣅ ͜ͷू߹ Λ ؔ࿈είΞͰ ιʔτ͢Ε 𝒳 L ؔ࿈είΞ ྫ͑༧ଌϨʔτ 直感的には: 何かしらの多様性スコア関数を使い、 一連の推薦・やり取りの間にユーザが実際にインタラクションした アイテムの多様性を測定し、多くの情報に触れたことを調べる (memo: ただの多様な推薦では? 🤔)
定式化・やったこと •Given • アイテムの集合 • ユーザの集合 • 関連度スコア関数 • 多様性スコア関数
• ユーザのモデル • 次のページで •Task • 推薦アルゴリズム の設計 • 「maximize for the set of items that a user interacts with.」 • 実際にこれを設計する (次の次のページで) •やったこと: • 既存のオープンデータ (Movielens-1M、Coat、…) を対象に、このフレームワークを実装 • 既存の手法と比較し、関連性スコア (Recall) と多様性スコア (div) がどうなったかを観察 • 「関連性スコア」と「多様性スコア」の多目的最適化の問題において、良さそうな結果を得た ℐ 𝒰 ℛ : 𝒰 × ℐ → ℝ div : 2ℐ → ℝ 𝒮 div( 𝒳 ) 𝒳 u ∈ 𝒰
ユーザのモデル 前から順番に「興味」を判定 前から順番に「消費」を判定 確率 で リスト走査から離脱 ηt 確率 で アイテム
に興味を持つ qi i 確率 で アイテム を消費する pi i Logit (全体リスト の上) Lt pi := ℛ(u, i) ∑ j∈Lt ℛ(u, j) 1 全体リスト Lt 2 3 j 確率 で 離脱 ηt 確率 で 離脱 ηt 確率 で 離脱 ηt Lt ∑ j=1 ηt (1 − ηt )j−1 j−1 ∏ i=1 (1 − qi ) 離脱確率 のモデル: ワイブル分布 (Web系で使われている) ηt ηt := 1 − q(t+1)γ−tγ , q = exp(− 1 λγ ),0 ≤ q ≤ 1 期待ステップ数の計算 (解析解) 𝔼 [steps] = ∞ ∑ t=1 t (qtγ − q(t+1)γ ) μ < 𝔼 [steps] < μ + 1,μ = λΓ(1 + 1/γ)
推薦戦略 EXPLORE •RS Alg. : maximize for the set of
items that a user interacts with. • いろいろ言ってきたが 「多様性スコアを最大化したい」 という問題になっている • 関連度スコアは通常の推薦モデルが出力する値 • 多様性スコアの限界効用 (限界多様性?) • それぞれの値は、適当に正規化されているとする (正規化された場合、 のように表記) 𝒮 div( 𝒳 ) 𝒳 u ∈ 𝒰 ℛi := ℛ(u, i) 𝒯 i := div( 𝒳 t ∪ {i}) − div( 𝒳 t ) ̂ ℛi ͜͜ཧղͯ͠·ͤΜ •提案戦略 EXPLORE •クレイトンコピュラ関数を用い、スコア を求め、大きい順にリストに含める 𝒵 i := [ ̂ ℛ−a i + ̂ 𝒯 −α i − 1]−1/α ίϐϡϥҰ༷ͳपลͷྦྷੵ݁߹ΛϞσϧԽ͢Δؔ ΫϨΠτϯίϐϡϥೖྗͷ྆ํ͕࠷େʹͳΔͱʹۙͮ͘ コピュラ
実験 | 提案手法、既存手法、データセット •提案手法: EXPLORE (限界多様性)、EXPLORE-{D,C} (ペアワイズ・カバー率を直接スコアに使う) •既存手法: •関連性が高いものをk個出す •MMR:
最初の方に出てきたもの、検索リスト多様化の基本的な手法 •DUM: IJCAI’15の多様な推薦手法 (MMRと似ているがある主の最適化問題を解いてリストを出す) •DPP: 行列式点過程 (なんか最近流行っている気がするやつ): logdetの限界効用でリストをつくる •DGREC: GNN+BPRつかった推薦 こっちはコピュラが 関係ない方という理解
実験結果 | 精度(Recall) vs 多様性 (divC) •Quality-diversity trade-off
実験結果 | 推薦の戦略とスコア、Ablation •Best performance diversity strategy この辺は付録にしか出てこないやつ 多様なだけではダメで関連度も 大事ということを言っている気がする