Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文読み会 KDD2022 | Multi-Behavior Hypergraph-Enhan...
Search
cocomoff
September 02, 2024
Research
0
140
論文読み会 KDD2022 | Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation
論文読み会の資料です.
(A slide for the paper-reading activity at my company, written in Japanese.)
cocomoff
September 02, 2024
Tweet
Share
More Decks by cocomoff
See All by cocomoff
論文読み会 NeurIPS2024 | UrbanKGent: A Unified Large Language Model Agent Framework for Urban Knowledge Graph Construction
cocomoff
1
75
論文読み会 AMAI | Personalized choice prediction with less user information
cocomoff
0
57
論文読み会 KDD2024 | Relevance meets Diversity: A User-Centric Framework for Knowledge Exploration through Recommendations
cocomoff
0
240
論文読み会 AISTATS2024 | Deep Learning-Based Alternative Route Computation
cocomoff
0
47
論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball
cocomoff
0
86
論文読み会 WWW2022 | Learning Probabilistic Box Embeddings for Effective and Efficient Ranking
cocomoff
0
310
ClimaX: A foundation model for weather and climate
cocomoff
0
590
論文読み会 AAAI2022 | MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers
cocomoff
0
250
論文読み会 EMNLP2021 | Decision-Focused Summarization
cocomoff
0
220
Other Decks in Research
See All in Research
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
400
Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification
satai
3
130
さまざまなAgent FrameworkとAIエージェントの評価
ymd65536
1
130
20250725-bet-ai-day
cipepser
2
490
Nullspace MPC
mizuhoaoki
1
220
SNLP2025:Can Language Models Reason about Individualistic Human Values and Preferences?
yukizenimoto
0
190
論文紹介: ReGenesis: LLMs can Grow into Reasoning Generalists via Self-Improvement
hisaokatsumi
0
110
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
3
1.2k
Vision and LanguageからのEmbodied AIとAI for Science
yushiku
PRO
1
570
まずはここから:Overleaf共同執筆・CopilotでAIコーディング入門・Codespacesで独立環境
matsui_528
2
650
[CV勉強会@関東 CVPR2025] VLM自動運転model S4-Driver
shinkyoto
2
540
多言語カスタマーインタビューの“壁”を越える~PMと生成AIの共創~ 株式会社ジグザグ 松野 亘
watarumatsuno
0
130
Featured
See All Featured
Music & Morning Musume
bryan
46
6.9k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3.1k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
116
20k
The Cost Of JavaScript in 2023
addyosmani
55
9.1k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
Agile that works and the tools we love
rasmusluckow
331
21k
Stop Working from a Prison Cell
hatefulcrawdad
272
21k
The Power of CSS Pseudo Elements
geoffreycrofte
80
6k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.2k
BBQ
matthewcrist
89
9.9k
Transcript
Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation (KDD'22) 読む人: @cocomoff Feb.
27, 2024 (マニアックすぎるので、数式の細かい読解まではやっていません…)
概要 多数の振る舞い (Multi-Behavior) が含まれる系列推薦では、長短期のアイ テム間の関係性を考慮しながら、次のアイテムを推薦する必要がある KDD'22では、アイテム間のハイパーグラフとTransformerを適用して、高精 度に推薦する手法 (MBHE) を提案した コンセプト
(TKDEの別の論文より拝借)
結果の表 (一部) 2つの要素 (グラフ構造&Multi-Behavior) をうまく併用した コンセプト (TKDEの別の論文より拝借)
結果の図 (一部) ユーザ毎に振る舞いの関係性や、系列をいい感じに見る仕組み (fine- grained length )、対象とする振る舞い毎の差、などが観察できる コメント: これだけ見ても意味分からんわ… 本文図6
(いろいろな重みの観察)
提案手法のやりたいことのコンセプト図 (載せただけ) コメント: 特に情報量なし… 本文図1 (a)コンセプト (b)長期・短期に関する重みの違い
提案手法のコンセプト図 構成要素 (a) 埋め込み (b) 低次元埋め込み (Transformerなどを楽にする) (c) (ハイパー)グラフでアイテムなどの情報を集約して伝搬 本文図2
はじめに & やりたいタスク 注意事項 細かい数式の解説は全部やりません 無限に系列推薦の手法が世の中にあり、マニア以外興味ない… 系列推薦 ≒ 系列予測なので、 似たアイデアはどこかで使えるかも?ぐらいの気持ちで説明します
所与: 振る舞いラベル付きデータ 全アイテム 、全ユーザ ユーザ のログ 目的の振る舞い (target behav.) とそれ以外 (aux. behav.) がある タスク 入力: 出力: target behavior (e.g., 購入) なアイテム を予測する (ような モデルを得たい、ということ)
手法の説明(1): 埋め込み 全ては埋め込みからはじめる 系列 中のアイテム の 特徴ベクトル アイテム 、振る舞い 、位置
の要素和 それぞれ 次元に埋め込みする 長さ の を表現する行列 を料理する (e.g., Attention, Transformer) どこかで見覚えのある式 アイテム数 がヤバそうな気配がある (行列積) Transformer を軽くする提案は色々研究されている (はず) 今回も低ランクな Self-Attention モジュールを採用する
手法の説明(2): 低ランク Self-Attention 学習可能な行列: を用いて とかは前ページの とかの意味です (learnable weight mat.)
論文による解説 変換行列 が定義できる (省略) ( )-次元のkey/valueに相当する を ( )-次元の 低ランク埋め込み に変形して、 サイズの計算を避ける
手法の説明(3): 短期・長期パターンの考慮 系列の短期・長期パターンを考慮して aggregation する 簡単な例: 長さ の列に対して、 ずつ移動平均を取る 式:
論文の表記 はあまりよく分からないけど… に集約されているので、ここにもself-attentionを使う こちらのQ/K/Vの重みは適当な型でいい感じに… ( に応じて) コメント: ギュっとしたらここまではすぐできる (たぶん)
続き ここまでで計算したもの : 低ランク埋め込みした情報 : 短期・長期を見た情報 ノリ: 3つの行列を列方向にconcat ( )
して 学習可能な を通す これを1つのヘッドとして、複数用いる ただし 最後に FFN と活性化関数 GELU を通してエンコード完了 コメント: ここまでは Transformer しただけとも言える(?)
寄り道: グラフ構造の利用 トピック2: グラフ構造を利用するとは? 何らかの方法で構築したグラフ構造から、埋め込みベクトルを集約したりし て、新しい特徴ベクトルにする枠組み (e.g., GNN) とあるMDPI論文のグラフィカルアブストラクト (コメント:
こういうタイプの研究 (e.g., グラフの作り方) も無限にあるので本当にオタク以外どうでもいい…)
手法の説明(4): Hypergraph-Enhanced Features 提案手法ではハイパーグラフを使う: 隣接 (普通の辺) より高次の関係性を使 いたいから (コメント: ちょっと珍しい
(かも)) 提案の超辺構造 (1) 長期間の相関関係によるもの (下) (2) アイテム自身のmulti-behaviorによるもの (上) 本文図 (コメント: 図だけだと、何が言いたいのか最初まったく分からん…→次ページへ!)
参考: グラフとハイパーグラフ
続き 提案手法 列 に出現するユニークなアイテム数の超辺を考える 超辺 (ユニークなアイテム に対応) は、 別に定義する重み (略)
が大きい順に 個の と超辺をつくる 二部グラフっぽい情報は隣接行列 で表現できる コメント: なので一見、どこがハイパーグラフかよく分からなかった これを2つ作る ( ) ユニークアイテムが2つ (灰色・オレンジ)なので、こうなる (たぶん)。 点線は超辺の関係性を二部グラフっぽくかいたもの (たぶん)。同じ色しかつながってないのはたまたま (たぶん)。
続き ( ) から2つの重み行列を持つので、くっつけて とする ハイパーグラフと行っているが、要するに2部グラフ (アイテムと超辺) グラフなので、思考停止してmessage passingする アイテム
超辺、頂点 アイテム Hypergraph conv. layer と呼ばれているらしい (なんだそりゃ…) 普通のGraph conv. layerと見た目は一緒 (数式書くのが辛くなった): 何層かpassingして、 を求める 一旦雑に振り返る 持っているもの Transformerっぽい構造から埋め込んできた ハイパーグラフから埋め込んできたもの データが2種類ある (data from different view、と呼ばれている) 2つあるので、重みつけてまとめる (cross-view aggregationと呼ぶ) 何か埋め込みベクトルが出てくるので、クロスエントロピー学習する
提案手法のコンセプト図 (振り返り) 構成要素 (a) 埋め込み (b) 低次元埋め込み (Transformerなどを楽にする) (c) (ハイパー)グラフでアイテムなどの情報を集約して伝搬
本文図2
実験 よくあるデータセットで実験
実験結果 (一部のみ)
実験結果 (ablation) それぞれを引き算した結果
viewの重み と のcross-view aggregation の寄与 系列的な情報 (Transformer部) と、グラフ情報でどちらが寄与したか
手法の性能と系列の長さの関係 正直あまりよく分からない… Groupは長さに応じて5つぐらのクラスタで実験した、という意味らしい
HRと学習エポック 序盤から性能が良い LightGCNとかのシンプルモデルじゃないので結構ムズそうだが、学習が 早いのは確かに良い気がする
ケーススタディ (再掲) 言えそうなこと 2つのaggregationパラメータ で特徴が違う behaivor間と個人間で特徴が違う コメント: 何が嬉しいのか分からん…