Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Recommending What Video to Watch Next: A Multit...
Search
alpicola
October 05, 2019
Research
1
860
Recommending What Video to Watch Next: A Multitask Ranking System
alpicola
October 05, 2019
Tweet
Share
More Decks by alpicola
See All by alpicola
商品レコメンドでのexplicit negative feedbackの活用
alpicola
2
700
Offline A/B testing for Recommender Systems
alpicola
0
2k
Kibanaを用いたアクセスログ調査と解析 / Access Log Analysis Using Kibana
alpicola
0
920
Other Decks in Research
See All in Research
ノンパラメトリック分布表現を用いた位置尤度場周辺化によるRTK-GNSSの整数アンビギュイティ推定
aoki_nosse
0
270
データサイエンティストの就労意識~2015→2024 一般(個人)会員アンケートより
datascientistsociety
PRO
0
380
The Economics of Platforms 輪読会 第1章
tomonatu8
0
170
Principled AI ~深層学習時代における課題解決の方法論~
taniai
3
1.1k
SpectralMamba: Efficient Mamba for Hyperspectral Image Classification
satai
3
300
Ad-DS Paper Circle #1
ykaneko1992
0
4.3k
rtrec@dbem6
myui
6
730
さくらインターネット研究所 アップデート2025年
matsumoto_r
PRO
0
510
ASSADS:ASMR動画に合わせて撫でられる感覚を提示するシステムの開発と評価 / ec75-shimizu
yumulab
1
130
博士学位論文予備審査 / Scaling Telemetry Workloads in Cloud Applications: Techniques for Instrumentation, Storage, and Mining
yuukit
1
1.8k
博士論文公聴会: Scaling Telemetry Workloads in Cloud Applications: Techniques for Instrumentation, Storage, and Mining / PhD Defence
yuukit
1
120
Individual tree crown delineation in high resolution aerial RGB imagery using StarDist-based model
satai
3
200
Featured
See All Featured
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Unsuck your backbone
ammeep
670
57k
The World Runs on Bad Software
bkeepers
PRO
67
11k
Optimizing for Happiness
mojombo
377
70k
Building Applications with DynamoDB
mza
94
6.3k
Designing for humans not robots
tammielis
252
25k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Making the Leap to Tech Lead
cromwellryan
133
9.2k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.4k
Mobile First: as difficult as doing things right
swwweet
223
9.6k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.3k
Transcript
Recommending What Video to Watch Next: A Multitask Ranking System
田中 涼 @alpicola (SmartNews)
論文の紹介 今回の RecSys long papers に Google の論文が2本 - Recommending
What Video to Watch Next: A Multitask Ranking System [Z Zhao et al.] - Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations [X Yi et al.]
Retrieve & Ranking アーキテクチャ Retrieve Database Ranking 数百 数十 今日はここの話
問題設定 - YouTube の「次の動画」 - Implicit feedback - Multi-objective -
User engagement (click, watch) - User satisfaction (like, share) - スケーラビリティの要求 - “billions of items and users” - Ranking フェーズ
論文の貢献 - Multi-gate Mixture-of-Expert (MMoE) [KDD 2018] によるマルチ タスク学習 -
Wide & Deep [DLRS 2016] 風の選択バイアスの削減手法 - YouTube プロダクション環境での実験
None
MMoE バイアス 削減
Multi-gate Mixture-of-Expert (MMoE) [J Ma et al., KDD 2018] -
マルチタスク学習の手法 - Shared-Bottom model (左) と比べ、タスク間の相関による悪 影響を受けにくい
学習データの選択バイアス - 特にここでは表示位置によるバイアス (position bias) - ランキング上位がクリックされやすい
選択バイアスの削減 - ‘Shallow’ tower (Wide & Deep の wide) で位置バイ
アスを表現 - User engagementのタスク が対象 - 学習時 position feature に はモデルが依存すぎないよ う drop-out をかける
実験結果 (MMoE) - ベースラインはShared-Bottom - ユニット数を調整して同じ計算コストあたりのパフォーマンスを 比べる
実験結果 (バイアス削減) - ベースライン - Input Feature: position featureを他の入力と一緒に使う -
Adversarial Loss: Adversarial Discriminative Domain Adaptation [CVPR 2017] などの手法を応用
著者らによる補足 (5.4 Discussion) - プロダクションで提供するときのコストを考え、 単純でわかりやすいモデル・手法を好んで使った - 他の手法は以下の理由でマッチしないことが多かった - マルチモーダルな入力
- Multi-objective - Noisy で sparse なデータ - スケーラビリティ - 分散環境での学習
私の感想 - よりよい user satisfaction のために - マルチタスク学習として解くのはよさそう - Shared-Bottom
でも十分かも - 各タスクのスコアはどう使う? - 論文では手動設定重みによる weighted sum - バイアス削減 - シンプルな実装なのはよい - インパクトは出てるのだろうか?