Recommending What Video to Watch Next: A Multitask Ranking System

Transcript

1. Recommending What Video to Watch Next: A Multitask Ranking System 田中 涼 @alpicola (SmartNews)
2. 論文の紹介 今回の RecSys long papers に Google の論文が2本 - Recommending What Video to Watch Next: A Multitask Ranking System [Z Zhao et al.] - Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations [X Yi et al.]
3. Retrieve & Ranking アーキテクチャ Retrieve Database Ranking 数百 数十 今日はここの話
4. 問題設定 - YouTube の「次の動画」 - Implicit feedback - Multi-objective - User engagement (click, watch) - User satisfaction (like, share) - スケーラビリティの要求 - “billions of items and users” - Ranking フェーズ
5. 論文の貢献 - Multi-gate Mixture-of-Expert (MMoE) [KDD 2018] によるマルチ タスク学習 - Wide & Deep [DLRS 2016] 風の選択バイアスの削減手法 - YouTube プロダクション環境での実験
7. MMoE バイアス 削減
8. Multi-gate Mixture-of-Expert (MMoE) [J Ma et al., KDD 2018] - マルチタスク学習の手法 - Shared-Bottom model (左) と比べ、タスク間の相関による悪 影響を受けにくい
9. 学習データの選択バイアス - 特にここでは表示位置によるバイアス (position bias) - ランキング上位がクリックされやすい
10. 選択バイアスの削減 - ‘Shallow’ tower (Wide & Deep の wide) で位置バイ アスを表現 - User engagementのタスク が対象 - 学習時 position feature に はモデルが依存すぎないよ う drop-out をかける
11. 実験結果 (MMoE) - ベースラインはShared-Bottom - ユニット数を調整して同じ計算コストあたりのパフォーマンスを 比べる
12. 実験結果 (バイアス削減) - ベースライン - Input Feature: position featureを他の入力と一緒に使う - Adversarial Loss: Adversarial Discriminative Domain Adaptation [CVPR 2017] などの手法を応用
13. 著者らによる補足 (5.4 Discussion) - プロダクションで提供するときのコストを考え、 単純でわかりやすいモデル・手法を好んで使った - 他の手法は以下の理由でマッチしないことが多かった - マルチモーダルな入力 - Multi-objective - Noisy で sparse なデータ - スケーラビリティ - 分散環境での学習
14. 私の感想 - よりよい user satisfaction のために - マルチタスク学習として解くのはよさそう - Shared-Bottom でも十分かも - 各タスクのスコアはどう使う？ - 論文では手動設定重みによる weighted sum - バイアス削減 - シンプルな実装なのはよい - インパクトは出てるのだろうか？