論文読み会 KDD2024 | Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations

論文読み会の資料です．

(A slide for the paper-reading activity at my company, written in Japanese.)

Transcript

1. 2024-09-03 Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations (KDD’24) ಡΉਓ: @cocomoff
2. RSがサポートする知識探索の プロセスについて、3要素を考慮した研究 (1)推薦の関連性 (relevance) (2)推薦の多様性 (diversity) (3)ユーザの選択行動モデル
3. イントロ •(1)関連性 (2)多様性 をバランスさせる手法は広く研究されている • 推薦アイテムのリストをつくるとき、多様性を評価にいれる • リストを構築してから、re-rankingモデルをいれる •リストに対するユーザの消費行動モデルみたいなものも注目されている •UBM (User-Behavior Modeling) •ユーザ のアイテム に関する確率モデル に関する研究 •{系列,会話的} {推薦,検索} の一領域 •Q: (推薦したあとの)ユーザモデルを考慮したとき、 推薦する部分は何をするべきなのか? •提案: ユーザが受け取る知識量を最大化する推薦システム u i p(u, i) 古典的なやつ (1998)
4. イントロ (続き) •提案: ユーザが受け取る知識量を最大化する推薦システム アイテム 情報のカバー率 (a)フィルターバブル的なもの (b)広い範囲を出しているが スカスカ過ぎてユーザが離脱してしまいそう (low relevance, high diversity) (c) ちょうど良さそう ৽͍͠ख๏ΛఏҊ͢ΔλΠϓͱ͍͏ΑΓ΋
   ͜ͷ͋ͨΒ͍͠ίϯηϓτΛ
   ͏·͘Ϟσϧʹམͱͯ͠ݕূ͢Δ࿦จ
5. 目次 •イントロ •ユーザモデルと問題の定式化 •実験
6. ユーザモデルに基づくシミュレーション •「リストに対するユーザの消費行動モデルみたいなものも注目されている」 の実装 (Alg. 1, Alg. 2) • メモ: いきなり天下り的に出てくるが「普通のプロセス」を書いたらこうなるというぐらいのもの 推薦 ユーザモデル ユーザがシステムから離脱するかどうか (離脱しなければ、次ステップの推薦) 前から順番に「興味」を判定 前から順番に「消費」を判定 確率 で リスト走査から離脱 ηt 確率 で アイテム に興味を持つ qi i 確率 で アイテム を消費する pi i 直感的には: コンセプトを達成するには、 ユーザモデル のもとで 推薦戦略 ( を出力する部分) をカスタマイズし、 ユーザができるだけ情報を探索できるようにする ({ηt }, {qi }, {pi }) Lt
7. 補足: 推薦リストの作成 (既存手法ベース) •新しい推薦手法を提案する論文ではないので、既存手法を使う • (1) カバー率に基づいた手法 • (2) ペアワイズ距離に基づいた手法 (0)ペアワイズ距離関数 ・ユークリッド距離 ・コサイン類似度 ・ミンコフスキー距離 ・重み付きJaccard距離 d(i, j) := 1 − ∑ w∈W min{ziw , zjw } ∑ w∈W max{ziw , zjw } は例えばitem-userの インタラクションの{0,1} ziw (1)カバー率に基づく多様性 divC ( 𝒳 ) = 1 |C| ∥⋁ i∈X yi ∥0 ・ 個のカテゴリをどれぐらい含むか C (2)ペアワイズ距離に基づく多様性 divD ( 𝒳 ) = 1 | 𝒳 | − 1 ∑ i∈ 𝒳 ∑ j∈ 𝒳 d(i, j) ԿͰ΋͍͍
   ద౰ͳඇྨࣅ౓ ͜ͷू߹
   
   Λ
   ؔ࿈౓είΞͰ
   ιʔτ͢Ε͹
   𝒳 L ؔ࿈౓είΞ͸
   ྫ͑͹༧ଌϨʔτ 直感的には: 何かしらの多様性スコア関数を使い、 一連の推薦・やり取りの間にユーザが実際にインタラクションした アイテムの多様性を測定し、多くの情報に触れたことを調べる (memo: ただの多様な推薦では? 🤔)
8. 定式化・やったこと •Given • アイテムの集合 • ユーザの集合 • 関連度スコア関数 • 多様性スコア関数 • ユーザのモデル • 次のページで •Task • 推薦アルゴリズム の設計 • 「maximize for the set of items that a user interacts with.」 • 実際にこれを設計する (次の次のページで) •やったこと: • 既存のオープンデータ (Movielens-1M、Coat、…) を対象に、このフレームワークを実装 • 既存の手法と比較し、関連性スコア (Recall) と多様性スコア (div) がどうなったかを観察 • 「関連性スコア」と「多様性スコア」の多目的最適化の問題において、良さそうな結果を得た ℐ 𝒰 ℛ : 𝒰 × ℐ → ℝ div : 2ℐ → ℝ 𝒮 div( 𝒳 ) 𝒳 u ∈ 𝒰
9. ユーザのモデル 前から順番に「興味」を判定 前から順番に「消費」を判定 確率 で リスト走査から離脱 ηt 確率 で アイテム に興味を持つ qi i 確率 で アイテム を消費する pi i Logit (全体リスト の上) Lt pi := ℛ(u, i) ∑ j∈Lt ℛ(u, j) 1 全体リスト Lt 2 3 j 確率 で 離脱 ηt 確率 で 離脱 ηt 確率 で 離脱 ηt Lt ∑ j=1 ηt (1 − ηt )j−1 j−1 ∏ i=1 (1 − qi ) 離脱確率 のモデル: ワイブル分布 (Web系で使われている) ηt ηt := 1 − q(t+1)γ−tγ , q = exp(− 1 λγ ),0 ≤ q ≤ 1 期待ステップ数の計算 (解析解) 𝔼 [steps] = ∞ ∑ t=1 t (qtγ − q(t+1)γ ) μ < 𝔼 [steps] < μ + 1,μ = λΓ(1 + 1/γ)
10. 推薦戦略 EXPLORE •RS Alg. : maximize for the set of items that a user interacts with. • いろいろ言ってきたが 「多様性スコアを最大化したい」 という問題になっている • 関連度スコアは通常の推薦モデルが出力する値 • 多様性スコアの限界効用 (限界多様性?) • それぞれの値は、適当に正規化されているとする (正規化された場合、 のように表記) 𝒮 div( 𝒳 ) 𝒳 u ∈ 𝒰 ℛi := ℛ(u, i) 𝒯 i := div( 𝒳 t ∪ {i}) − div( 𝒳 t ) ̂ ℛi ͜͜͸ཧղͯ͠·ͤΜ •提案戦略 EXPLORE •クレイトンコピュラ関数を用い、スコア を求め、大きい順にリストに含める 𝒵 i := [ ̂ ℛ−a i + ̂ 𝒯 −α i − 1]−1/α ίϐϡϥ
    Ұ༷ͳपล෼෍ͷྦྷੵ݁߹෼෍ΛϞσϧԽ͢Δؔ਺ ΫϨΠτϯίϐϡϥ
    ೖྗͷ྆ํ͕࠷େʹͳΔͱʹۙͮ͘ コピュラ
11. 実験 | 提案手法、既存手法、データセット •提案手法: EXPLORE (限界多様性)、EXPLORE-{D,C} (ペアワイズ・カバー率を直接スコアに使う) •既存手法: •関連性が高いものをk個出す •MMR: 最初の方に出てきたもの、検索リスト多様化の基本的な手法 •DUM: IJCAI’15の多様な推薦手法 (MMRと似ているがある主の最適化問題を解いてリストを出す) •DPP: 行列式点過程 (なんか最近流行っている気がするやつ): logdetの限界効用でリストをつくる •DGREC: GNN+BPRつかった推薦 こっちはコピュラが 関係ない方という理解
12. 実験結果 | 精度(Recall) vs 多様性 (divC) •Quality-diversity trade-off
13. 実験結果 | 推薦の戦略とスコア、Ablation •Best performance diversity strategy この辺は付録にしか出てこないやつ 多様なだけではダメで関連度も 大事ということを言っている気がする