Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Recommending What Video to Watch Next: A Multit...
Search
alpicola
October 05, 2019
Research
1
890
Recommending What Video to Watch Next: A Multitask Ranking System
alpicola
October 05, 2019
Tweet
Share
More Decks by alpicola
See All by alpicola
商品レコメンドでのexplicit negative feedbackの活用
alpicola
2
800
Offline A/B testing for Recommender Systems
alpicola
0
2.1k
Kibanaを用いたアクセスログ調査と解析 / Access Log Analysis Using Kibana
alpicola
0
970
Other Decks in Research
See All in Research
SSII2025 [TS3] 医工連携における画像情報学研究
ssii
PRO
3
1.3k
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
2
1.1k
MIRU2025 チュートリアル講演「ロボット基盤モデルの最前線」
haraduka
15
8.5k
CoRL2025速報
rpc
1
1.6k
Learning to (Learn at Test Time): RNNs with Expressive Hidden States
kurita
1
250
PhD Defense 2025: Visual Understanding of Human Hands in Interactions
tkhkaeio
1
240
cvpaper.challenge 10年の軌跡 / cvpaper.challenge a decade-long journey
gatheluck
3
340
[論文紹介] Intuitive Fine-Tuning
ryou0634
0
120
SSII2025 [TS1] 光学・物理原理に基づく深層画像生成
ssii
PRO
4
4.3k
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
360
Mechanistic Interpretability:解釈可能性研究の新たな潮流
koshiro_aoki
1
440
Creation and environmental applications of 15-year daily inundation and vegetation maps for Siberia by integrating satellite and meteorological datasets
satai
3
380
Featured
See All Featured
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Statistics for Hackers
jakevdp
799
220k
Faster Mobile Websites
deanohume
310
31k
Reflections from 52 weeks, 52 projects
jeffersonlam
352
21k
Six Lessons from altMBA
skipperchong
28
4k
Building Better People: How to give real-time feedback that sticks.
wjessup
368
20k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
Raft: Consensus for Rubyists
vanstee
139
7.1k
KATA
mclloyd
32
15k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
The Language of Interfaces
destraynor
162
25k
Side Projects
sachag
455
43k
Transcript
Recommending What Video to Watch Next: A Multitask Ranking System
田中 涼 @alpicola (SmartNews)
論文の紹介 今回の RecSys long papers に Google の論文が2本 - Recommending
What Video to Watch Next: A Multitask Ranking System [Z Zhao et al.] - Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations [X Yi et al.]
Retrieve & Ranking アーキテクチャ Retrieve Database Ranking 数百 数十 今日はここの話
問題設定 - YouTube の「次の動画」 - Implicit feedback - Multi-objective -
User engagement (click, watch) - User satisfaction (like, share) - スケーラビリティの要求 - “billions of items and users” - Ranking フェーズ
論文の貢献 - Multi-gate Mixture-of-Expert (MMoE) [KDD 2018] によるマルチ タスク学習 -
Wide & Deep [DLRS 2016] 風の選択バイアスの削減手法 - YouTube プロダクション環境での実験
None
MMoE バイアス 削減
Multi-gate Mixture-of-Expert (MMoE) [J Ma et al., KDD 2018] -
マルチタスク学習の手法 - Shared-Bottom model (左) と比べ、タスク間の相関による悪 影響を受けにくい
学習データの選択バイアス - 特にここでは表示位置によるバイアス (position bias) - ランキング上位がクリックされやすい
選択バイアスの削減 - ‘Shallow’ tower (Wide & Deep の wide) で位置バイ
アスを表現 - User engagementのタスク が対象 - 学習時 position feature に はモデルが依存すぎないよ う drop-out をかける
実験結果 (MMoE) - ベースラインはShared-Bottom - ユニット数を調整して同じ計算コストあたりのパフォーマンスを 比べる
実験結果 (バイアス削減) - ベースライン - Input Feature: position featureを他の入力と一緒に使う -
Adversarial Loss: Adversarial Discriminative Domain Adaptation [CVPR 2017] などの手法を応用
著者らによる補足 (5.4 Discussion) - プロダクションで提供するときのコストを考え、 単純でわかりやすいモデル・手法を好んで使った - 他の手法は以下の理由でマッチしないことが多かった - マルチモーダルな入力
- Multi-objective - Noisy で sparse なデータ - スケーラビリティ - 分散環境での学習
私の感想 - よりよい user satisfaction のために - マルチタスク学習として解くのはよさそう - Shared-Bottom
でも十分かも - 各タスクのスコアはどう使う? - 論文では手動設定重みによる weighted sum - バイアス削減 - シンプルな実装なのはよい - インパクトは出てるのだろうか?