Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文読み会 KDD2022 | Multi-Behavior Hypergraph-Enhan...
Search
cocomoff
September 02, 2024
Research
0
10
論文読み会 KDD2022 | Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation
論文読み会の資料です.
(A slide for the paper-reading activity at my company, written in Japanese.)
cocomoff
September 02, 2024
Tweet
Share
More Decks by cocomoff
See All by cocomoff
論文読み会 KDD2024 | Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations
cocomoff
0
9
論文読み会 AISTATS2024 | Deep Learning-Based Alternative Route Computation
cocomoff
0
8
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball
cocomoff
0
46
論文読み会 WWW2022 | Learning Probabilistic Box Embeddings for Effective and Efficient Ranking
cocomoff
0
240
ClimaX: A foundation model for weather and climate
cocomoff
0
420
論文読み会 AAAI2022 | MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
cocomoff
0
150
論文読み会 EMNLP2021 | Decision-Focused Summarization
cocomoff
0
160
論文読み会 AAAI2022 | Online Certification of Preference-based Fairness for Personalized Recommender Systems
cocomoff
0
400
論文読み会 HT2010 | Automatic Construction of Travel Itineraries Using Social Breadcrumbs
cocomoff
0
88
Other Decks in Research
See All in Research
SSII2024 [OS1] 画像生成技術の発展: 過去10年の軌跡と未来への展望
ssii
PRO
3
1.8k
大規模言語モデルを用いた日本語視覚言語モデルの評価方法とベースラインモデルの提案 【MIRU 2024】
kentosasaki
2
420
初めての研究発表を成功させよう! スライド作成の基本
ayaco0
11
4.4k
「人間にAIはどのように辿り着けばよいのか?ー 系統的汎化からの第一歩 ー」@第22回 Language and Robotics研究会
maguro27
0
510
Physics of Language Models: Part 3.1, Knowledge Storage and Extraction
sosk
1
800
Embers of Autoregression: Understanding Large Language Models Through the Problem They are Trained to Solve
eumesy
PRO
6
1k
論文読み会 SNLP2024 Instruction-tuned Language Models are Better Knowledge Learners. In: ACL 2024
s_mizuki_nlp
1
280
日本語医療LLM評価ベンチマークの構築と性能分析
fta98
3
390
SSII2024 [PD] 30周年記念特別企画SSII 技術マップ / LLMサーベイ
ssii
PRO
0
750
Weekly AI Agents News!
masatoto
22
18k
20240725異文化融合研究セミナーiSeminar
tadook
0
120
Introducing Research Units of Matsuo-Iwasawa Laboratory
matsuolab
0
110
Featured
See All Featured
Gamification - CAS2011
davidbonilla
79
5k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
43
2k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
45
4.8k
Fantastic passwords and where to find them - at NoRuKo
philnash
48
2.8k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
28
1.6k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
36
1.7k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
5
480
Speed Design
sergeychernyshev
22
430
Testing 201, or: Great Expectations
jmmastey
36
7k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
123
18k
Docker and Python
trallard
39
3k
Transcript
Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation (KDD'22) 読む人: @cocomoff Feb.
27, 2024 (マニアックすぎるので、数式の細かい読解まではやっていません…)
概要 多数の振る舞い (Multi-Behavior) が含まれる系列推薦では、長短期のアイ テム間の関係性を考慮しながら、次のアイテムを推薦する必要がある KDD'22では、アイテム間のハイパーグラフとTransformerを適用して、高精 度に推薦する手法 (MBHE) を提案した コンセプト
(TKDEの別の論文より拝借)
結果の表 (一部) 2つの要素 (グラフ構造&Multi-Behavior) をうまく併用した コンセプト (TKDEの別の論文より拝借)
結果の図 (一部) ユーザ毎に振る舞いの関係性や、系列をいい感じに見る仕組み (fine- grained length )、対象とする振る舞い毎の差、などが観察できる コメント: これだけ見ても意味分からんわ… 本文図6
(いろいろな重みの観察)
提案手法のやりたいことのコンセプト図 (載せただけ) コメント: 特に情報量なし… 本文図1 (a)コンセプト (b)長期・短期に関する重みの違い
提案手法のコンセプト図 構成要素 (a) 埋め込み (b) 低次元埋め込み (Transformerなどを楽にする) (c) (ハイパー)グラフでアイテムなどの情報を集約して伝搬 本文図2
はじめに & やりたいタスク 注意事項 細かい数式の解説は全部やりません 無限に系列推薦の手法が世の中にあり、マニア以外興味ない… 系列推薦 ≒ 系列予測なので、 似たアイデアはどこかで使えるかも?ぐらいの気持ちで説明します
所与: 振る舞いラベル付きデータ 全アイテム 、全ユーザ ユーザ のログ 目的の振る舞い (target behav.) とそれ以外 (aux. behav.) がある タスク 入力: 出力: target behavior (e.g., 購入) なアイテム を予測する (ような モデルを得たい、ということ)
手法の説明(1): 埋め込み 全ては埋め込みからはじめる 系列 中のアイテム の 特徴ベクトル アイテム 、振る舞い 、位置
の要素和 それぞれ 次元に埋め込みする 長さ の を表現する行列 を料理する (e.g., Attention, Transformer) どこかで見覚えのある式 アイテム数 がヤバそうな気配がある (行列積) Transformer を軽くする提案は色々研究されている (はず) 今回も低ランクな Self-Attention モジュールを採用する
手法の説明(2): 低ランク Self-Attention 学習可能な行列: を用いて とかは前ページの とかの意味です (learnable weight mat.)
論文による解説 変換行列 が定義できる (省略) ( )-次元のkey/valueに相当する を ( )-次元の 低ランク埋め込み に変形して、 サイズの計算を避ける
手法の説明(3): 短期・長期パターンの考慮 系列の短期・長期パターンを考慮して aggregation する 簡単な例: 長さ の列に対して、 ずつ移動平均を取る 式:
論文の表記 はあまりよく分からないけど… に集約されているので、ここにもself-attentionを使う こちらのQ/K/Vの重みは適当な型でいい感じに… ( に応じて) コメント: ギュっとしたらここまではすぐできる (たぶん)
続き ここまでで計算したもの : 低ランク埋め込みした情報 : 短期・長期を見た情報 ノリ: 3つの行列を列方向にconcat ( )
して 学習可能な を通す これを1つのヘッドとして、複数用いる ただし 最後に FFN と活性化関数 GELU を通してエンコード完了 コメント: ここまでは Transformer しただけとも言える(?)
寄り道: グラフ構造の利用 トピック2: グラフ構造を利用するとは? 何らかの方法で構築したグラフ構造から、埋め込みベクトルを集約したりし て、新しい特徴ベクトルにする枠組み (e.g., GNN) とあるMDPI論文のグラフィカルアブストラクト (コメント:
こういうタイプの研究 (e.g., グラフの作り方) も無限にあるので本当にオタク以外どうでもいい…)
手法の説明(4): Hypergraph-Enhanced Features 提案手法ではハイパーグラフを使う: 隣接 (普通の辺) より高次の関係性を使 いたいから (コメント: ちょっと珍しい
(かも)) 提案の超辺構造 (1) 長期間の相関関係によるもの (下) (2) アイテム自身のmulti-behaviorによるもの (上) 本文図 (コメント: 図だけだと、何が言いたいのか最初まったく分からん…→次ページへ!)
参考: グラフとハイパーグラフ
続き 提案手法 列 に出現するユニークなアイテム数の超辺を考える 超辺 (ユニークなアイテム に対応) は、 別に定義する重み (略)
が大きい順に 個の と超辺をつくる 二部グラフっぽい情報は隣接行列 で表現できる コメント: なので一見、どこがハイパーグラフかよく分からなかった これを2つ作る ( ) ユニークアイテムが2つ (灰色・オレンジ)なので、こうなる (たぶん)。 点線は超辺の関係性を二部グラフっぽくかいたもの (たぶん)。同じ色しかつながってないのはたまたま (たぶん)。
続き ( ) から2つの重み行列を持つので、くっつけて とする ハイパーグラフと行っているが、要するに2部グラフ (アイテムと超辺) グラフなので、思考停止してmessage passingする アイテム
超辺、頂点 アイテム Hypergraph conv. layer と呼ばれているらしい (なんだそりゃ…) 普通のGraph conv. layerと見た目は一緒 (数式書くのが辛くなった): 何層かpassingして、 を求める 一旦雑に振り返る 持っているもの Transformerっぽい構造から埋め込んできた ハイパーグラフから埋め込んできたもの データが2種類ある (data from different view、と呼ばれている) 2つあるので、重みつけてまとめる (cross-view aggregationと呼ぶ) 何か埋め込みベクトルが出てくるので、クロスエントロピー学習する
提案手法のコンセプト図 (振り返り) 構成要素 (a) 埋め込み (b) 低次元埋め込み (Transformerなどを楽にする) (c) (ハイパー)グラフでアイテムなどの情報を集約して伝搬
本文図2
実験 よくあるデータセットで実験
実験結果 (一部のみ)
実験結果 (ablation) それぞれを引き算した結果
viewの重み と のcross-view aggregation の寄与 系列的な情報 (Transformer部) と、グラフ情報でどちらが寄与したか
手法の性能と系列の長さの関係 正直あまりよく分からない… Groupは長さに応じて5つぐらのクラスタで実験した、という意味らしい
HRと学習エポック 序盤から性能が良い LightGCNとかのシンプルモデルじゃないので結構ムズそうだが、学習が 早いのは確かに良い気がする
ケーススタディ (再掲) 言えそうなこと 2つのaggregationパラメータ で特徴が違う behaivor間と個人間で特徴が違う コメント: 何が嬉しいのか分からん…