Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【論文ゼミ】SSE-PT: Sequential Recommendation Via Per...
Search
Yamato Hara
October 07, 2021
Research
0
120
【論文ゼミ】SSE-PT: Sequential Recommendation Via Personalized Transformer
計算知能・マルチメディア研究室 論文ゼミ
紹介論文:
https://dl.acm.org/doi/10.1145/3383313.3412258
Yamato Hara
October 07, 2021
Tweet
Share
More Decks by Yamato Hara
See All by Yamato Hara
【IR Reading2022秋】 CPFair: Personalized Consumer and Producer Fairness Re-ranking for Recommender Systems
yamato0811
1
330
【論文ゼミ】Personalized Transfer of User Preferences for Cross-domain Recommendation
yamato0811
0
270
Other Decks in Research
See All in Research
データサイエンティストの就労意識~2015→2024 一般(個人)会員アンケートより
datascientistsociety
PRO
0
700
最適決定木を用いた処方的価格最適化
mickey_kubo
4
1.7k
20250502_ABEJA_論文読み会_スライド
flatton
0
170
Sosiaalisen median katsaus 03/2025 + tekoäly
hponka
0
1.3k
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
170
線形判別分析のPU学習による朝日歌壇短歌の分析
masakat0
0
130
公立高校入試等に対する受入保留アルゴリズム(DA)導入の提言
shunyanoda
0
5.8k
NLP Colloquium
junokim
1
160
AI エージェントを活用した研究再現性の自動定量評価 / scisci2025
upura
1
110
さくらインターネット研究所 アップデート2025年
matsumoto_r
PRO
0
650
When Submarine Cables Go Dark: Examining the Web Services Resilience Amid Global Internet Disruptions
irvin
0
220
言語モデルの内部機序:解析と解釈
eumesy
PRO
49
18k
Featured
See All Featured
A designer walks into a library…
pauljervisheath
207
24k
Scaling GitHub
holman
459
140k
Embracing the Ebb and Flow
colly
86
4.7k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
How to train your dragon (web standard)
notwaldorf
94
6.1k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
A Modern Web Designer's Workflow
chriscoyier
694
190k
Optimizing for Happiness
mojombo
379
70k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Practical Orchestrator
shlominoach
188
11k
Done Done
chrislema
184
16k
BBQ
matthewcrist
89
9.7k
Transcript
論⽂紹介 原 弥⿇⼈ 0 SSE-PT: Sequential Recommendation Via Personalized Transformer
⽬次 • 論⽂の概要 • どんな分野か • 先⾏研究 • 提案⼿法 •
実験 • まとめ・疑問点 1
論⽂の概要 2 論⽂情報 タイトル : SSE-PT: Sequential Recommendation Via Personalized
Transformer 引⽤数 : 22回 学会 : RecSys September 22-26, 2020 レコメンド分野のトップカンファレンス 著者情報 著者 : Liwei Wu, Shuqing Li, Cho-Jui Hsieh, James Sharpnack 所属 : University of California, Davis University of California, Los Angles
論⽂の概要 3 • SSE-PTと呼ばれるTransformerベースのモデルでsequential recommendationの問題を解決した • ユーザーエンベディングを追加することでパーソナライズ • SSE正則化を⽤いて過学習を防ぐ •
5つのデータセットにおいてSoTAを達成
どんな分野か 4 Recommendationの種類 • General Recommendation • Graph Recommendation •
Knowledge Aware Recommendation • Sequential Recommendation ユーザーの好み・嗜好は固定ではなく変化するものという仮定
どんな分野か 5 猿 も ⽊ から 落ちる Sequential Recommendation NLP
次単語予測
どんな分野か 6 ⾃然⾔語処理の発展に伴うレコメンドシステムの遷移
先⾏研究 7 Kang, Wang-Cheng, and Julian McAuley. "Self-attentive sequential recommendation."
ICDM2018 SASRec Sequential RecommendationにTransformerを適⽤したモデル ユーザーにパーソナライズされていない︕ Transformer
提案⼿法 8 SSE-PT ユーザーベクトルを追加︕
提案⼿法 9 Embedding Layer 𝑣 ∶ アイテム 𝑢 ∶ ユーザー
ベクトル化 ⻑さ𝑇に満たないときはpaddingとして𝟎で埋める
提案⼿法 10 Transformer Encoder
提案⼿法 11 Transformer Encoder ⼊⼒ 出⼒
提案⼿法 12 Transformer Encoder • Wは学習によって変化していく • Wによって柔軟に
提案⼿法 13 Transformer Encoder ⼆層のニューラルネットワーク
提案⼿法 14 Prediction Layer ︓Transformer encoderの最後の タイムスタンプにおけるoutput : 時間 𝑡
でユーザー 𝑖 がアイテム 𝑙 を選ぶ確率 : loss関数 次に選んだであろうアイテム Log(1) = 0 Log(1-0) = 0 類似度
提案⼿法 15 SSE-PT ベクトル化 前後関係を考慮したベクトル
提案⼿法 16 Stochastic Shared Embeddings 2019年に同著者らが発表した⼿法 Wu, Liwei, et al.
"Stochastic shared embeddings: Data-driven regularization of embedding layers.” (2019) ある⼀定の確率でエンベディングを他のものと置き換える
実験 18 環境 CPU : 40-core Intel Xeon E5-2630 v4
@2.20GHz GPU : GTX 1080 データセット • Steam dataset • Movielens1M, Movielens10M • Amazon product review dataset(Beauty, Games) 評価指標 • Recall ・・・ユーザが実際に嗜好したアイテムのうちレコメンドリストでカバーした割合 • NDCG・・・おすすめ順の適合度を合計し,正規化したもの
実験 19 SSE-PTを⻑いシーケンスでも対応できるようにした版 (性能⽐較)
実験 20 (アテンションの可視化)
実験 21 (Training Speed)
疑問点 22 • 未知のユーザーが来たら推論がうまくいかないのではないか • Positive itemとnegative itemのリストはどのように作成しているのか
まとめ 23 • SSE-PTと呼ばれるTransformerベースのモデルでsequential recommendationの問題を解決した • ユーザーエンベディングを追加することでパーソナライズ • SSE正則化を⽤いて過学習を防ぐ •
5つのデータセットにおいてSoTAを達成
Appendix 24