Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Recommending What Video to Watch Next: A Multit...
Search
alpicola
October 05, 2019
Research
1
810
Recommending What Video to Watch Next: A Multitask Ranking System
alpicola
October 05, 2019
Tweet
Share
More Decks by alpicola
See All by alpicola
Offline A/B testing for Recommender Systems
alpicola
0
1.9k
Kibanaを用いたアクセスログ調査と解析 / Access Log Analysis Using Kibana
alpicola
0
830
Other Decks in Research
See All in Research
SSII2024 [OS2] 大規模言語モデルと基盤モデルの射程
ssii
PRO
0
460
LLM based AI Agents Overview -What, Why, How-
masatoto
1
330
Active Adaptive Experimental Design for Treatment Effect Estimation with Covariate Choices
masakat0
0
170
アジャイルコミュニティが、宗教ポイと云われるのは何故なのか?
fujiihideo
0
350
RSJ2024「基盤モデルの実ロボット応用」チュートリアルA(河原塚)
haraduka
2
520
Weekly AI Agents News! 6月号 論文のアーカイブ
masatoto
1
130
marukotenant01/tenant-20240826
marketing2024
0
500
Kaggle役立ちアイテム紹介(入門編)
k951286
13
4k
第28回 著者ゼミ:Identification of drug responsible glycogene signature in liver carcinoma from meta-analysis using RNA-seq data
ktatsuya
2
240
-SSII技術マップを通して見る過去・現在,そして未来-
hf149
1
590
20240710_熊本県議会・熊本市議会_都市交通勉強会
trafficbrain
0
690
Weekly AI Agents News!
masatoto
22
18k
Featured
See All Featured
Debugging Ruby Performance
tmm1
72
12k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
123
18k
Creatively Recalculating Your Daily Design Routine
revolveconf
215
12k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
363
22k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
26
1.9k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
25
3.9k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
166
48k
Statistics for Hackers
jakevdp
794
220k
Building a Modern Day E-commerce SEO Strategy
aleyda
36
6.8k
Design by the Numbers
sachag
277
19k
Building Better People: How to give real-time feedback that sticks.
wjessup
359
19k
Transcript
Recommending What Video to Watch Next: A Multitask Ranking System
田中 涼 @alpicola (SmartNews)
論文の紹介 今回の RecSys long papers に Google の論文が2本 - Recommending
What Video to Watch Next: A Multitask Ranking System [Z Zhao et al.] - Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations [X Yi et al.]
Retrieve & Ranking アーキテクチャ Retrieve Database Ranking 数百 数十 今日はここの話
問題設定 - YouTube の「次の動画」 - Implicit feedback - Multi-objective -
User engagement (click, watch) - User satisfaction (like, share) - スケーラビリティの要求 - “billions of items and users” - Ranking フェーズ
論文の貢献 - Multi-gate Mixture-of-Expert (MMoE) [KDD 2018] によるマルチ タスク学習 -
Wide & Deep [DLRS 2016] 風の選択バイアスの削減手法 - YouTube プロダクション環境での実験
None
MMoE バイアス 削減
Multi-gate Mixture-of-Expert (MMoE) [J Ma et al., KDD 2018] -
マルチタスク学習の手法 - Shared-Bottom model (左) と比べ、タスク間の相関による悪 影響を受けにくい
学習データの選択バイアス - 特にここでは表示位置によるバイアス (position bias) - ランキング上位がクリックされやすい
選択バイアスの削減 - ‘Shallow’ tower (Wide & Deep の wide) で位置バイ
アスを表現 - User engagementのタスク が対象 - 学習時 position feature に はモデルが依存すぎないよ う drop-out をかける
実験結果 (MMoE) - ベースラインはShared-Bottom - ユニット数を調整して同じ計算コストあたりのパフォーマンスを 比べる
実験結果 (バイアス削減) - ベースライン - Input Feature: position featureを他の入力と一緒に使う -
Adversarial Loss: Adversarial Discriminative Domain Adaptation [CVPR 2017] などの手法を応用
著者らによる補足 (5.4 Discussion) - プロダクションで提供するときのコストを考え、 単純でわかりやすいモデル・手法を好んで使った - 他の手法は以下の理由でマッチしないことが多かった - マルチモーダルな入力
- Multi-objective - Noisy で sparse なデータ - スケーラビリティ - 分散環境での学習
私の感想 - よりよい user satisfaction のために - マルチタスク学習として解くのはよさそう - Shared-Bottom
でも十分かも - 各タスクのスコアはどう使う? - 論文では手動設定重みによる weighted sum - バイアス削減 - シンプルな実装なのはよい - インパクトは出てるのだろうか?