Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【論文ゼミ】SSE-PT: Sequential Recommendation Via Per...
Search
Yamato Hara
October 07, 2021
Research
0
84
【論文ゼミ】SSE-PT: Sequential Recommendation Via Personalized Transformer
計算知能・マルチメディア研究室 論文ゼミ
紹介論文:
https://dl.acm.org/doi/10.1145/3383313.3412258
Yamato Hara
October 07, 2021
Tweet
Share
More Decks by Yamato Hara
See All by Yamato Hara
【IR Reading2022秋】 CPFair: Personalized Consumer and Producer Fairness Re-ranking for Recommender Systems
yamato0811
1
320
【論文ゼミ】Personalized Transfer of User Preferences for Cross-domain Recommendation
yamato0811
0
230
Other Decks in Research
See All in Research
【NLPコロキウム】Stepwise Alignment for Constrained Language Model Policy Optimization (NeurIPS 2024)
akifumi_wachi
3
570
インドネシアのQA事情を紹介するの
yujijs
0
170
資産間の相関関係を頑健に評価する指標を用いたファクターアローケーション戦略の構築
nomamist
0
170
研究を支える拡張性の高い ワークフローツールの提案 / Proposal of highly expandable workflow tools to support research
linyows
0
360
ナレッジプロデューサーとしてのミドルマネージャー支援 - MIMIGURI「知識創造室」の事例の考察 -
chiemitaki
0
250
ベイズ的方法に基づく統計的因果推論の基礎
holyshun
0
920
CoRL2024サーベイ
rpc
2
1.8k
SI-D案内資料_京都文教大学
ryojitakeuchi1116
0
220
新規のC言語処理系を実装することによる 組込みシステム研究にもたらす価値 についての考察
zacky1972
1
350
Weekly AI Agents News! 2月号 アーカイブ
masatoto
1
110
リモートワークにおけるパッシブ疲労
matsumoto_r
PRO
6
5k
言語モデルLUKEを経済の知識に特化させたモデル「UBKE-LUKE」について
petter0201
0
300
Featured
See All Featured
A better future with KSS
kneath
238
17k
Automating Front-end Workflow
addyosmani
1369
200k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
7
620
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
2.9k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.7k
Navigating Team Friction
lara
184
15k
Music & Morning Musume
bryan
46
6.4k
Making the Leap to Tech Lead
cromwellryan
133
9.2k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.4k
Transcript
論⽂紹介 原 弥⿇⼈ 0 SSE-PT: Sequential Recommendation Via Personalized Transformer
⽬次 • 論⽂の概要 • どんな分野か • 先⾏研究 • 提案⼿法 •
実験 • まとめ・疑問点 1
論⽂の概要 2 論⽂情報 タイトル : SSE-PT: Sequential Recommendation Via Personalized
Transformer 引⽤数 : 22回 学会 : RecSys September 22-26, 2020 レコメンド分野のトップカンファレンス 著者情報 著者 : Liwei Wu, Shuqing Li, Cho-Jui Hsieh, James Sharpnack 所属 : University of California, Davis University of California, Los Angles
論⽂の概要 3 • SSE-PTと呼ばれるTransformerベースのモデルでsequential recommendationの問題を解決した • ユーザーエンベディングを追加することでパーソナライズ • SSE正則化を⽤いて過学習を防ぐ •
5つのデータセットにおいてSoTAを達成
どんな分野か 4 Recommendationの種類 • General Recommendation • Graph Recommendation •
Knowledge Aware Recommendation • Sequential Recommendation ユーザーの好み・嗜好は固定ではなく変化するものという仮定
どんな分野か 5 猿 も ⽊ から 落ちる Sequential Recommendation NLP
次単語予測
どんな分野か 6 ⾃然⾔語処理の発展に伴うレコメンドシステムの遷移
先⾏研究 7 Kang, Wang-Cheng, and Julian McAuley. "Self-attentive sequential recommendation."
ICDM2018 SASRec Sequential RecommendationにTransformerを適⽤したモデル ユーザーにパーソナライズされていない︕ Transformer
提案⼿法 8 SSE-PT ユーザーベクトルを追加︕
提案⼿法 9 Embedding Layer 𝑣 ∶ アイテム 𝑢 ∶ ユーザー
ベクトル化 ⻑さ𝑇に満たないときはpaddingとして𝟎で埋める
提案⼿法 10 Transformer Encoder
提案⼿法 11 Transformer Encoder ⼊⼒ 出⼒
提案⼿法 12 Transformer Encoder • Wは学習によって変化していく • Wによって柔軟に
提案⼿法 13 Transformer Encoder ⼆層のニューラルネットワーク
提案⼿法 14 Prediction Layer ︓Transformer encoderの最後の タイムスタンプにおけるoutput : 時間 𝑡
でユーザー 𝑖 がアイテム 𝑙 を選ぶ確率 : loss関数 次に選んだであろうアイテム Log(1) = 0 Log(1-0) = 0 類似度
提案⼿法 15 SSE-PT ベクトル化 前後関係を考慮したベクトル
提案⼿法 16 Stochastic Shared Embeddings 2019年に同著者らが発表した⼿法 Wu, Liwei, et al.
"Stochastic shared embeddings: Data-driven regularization of embedding layers.” (2019) ある⼀定の確率でエンベディングを他のものと置き換える
実験 18 環境 CPU : 40-core Intel Xeon E5-2630 v4
@2.20GHz GPU : GTX 1080 データセット • Steam dataset • Movielens1M, Movielens10M • Amazon product review dataset(Beauty, Games) 評価指標 • Recall ・・・ユーザが実際に嗜好したアイテムのうちレコメンドリストでカバーした割合 • NDCG・・・おすすめ順の適合度を合計し,正規化したもの
実験 19 SSE-PTを⻑いシーケンスでも対応できるようにした版 (性能⽐較)
実験 20 (アテンションの可視化)
実験 21 (Training Speed)
疑問点 22 • 未知のユーザーが来たら推論がうまくいかないのではないか • Positive itemとnegative itemのリストはどのように作成しているのか
まとめ 23 • SSE-PTと呼ばれるTransformerベースのモデルでsequential recommendationの問題を解決した • ユーザーエンベディングを追加することでパーソナライズ • SSE正則化を⽤いて過学習を防ぐ •
5つのデータセットにおいてSoTAを達成
Appendix 24