Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Recommending What Video to Watch Next: A Multit...
Search
alpicola
October 05, 2019
Research
1
900
Recommending What Video to Watch Next: A Multitask Ranking System
alpicola
October 05, 2019
Tweet
Share
More Decks by alpicola
See All by alpicola
商品レコメンドでのexplicit negative feedbackの活用
alpicola
2
810
Offline A/B testing for Recommender Systems
alpicola
0
2.1k
Kibanaを用いたアクセスログ調査と解析 / Access Log Analysis Using Kibana
alpicola
0
970
Other Decks in Research
See All in Research
2025年度人工知能学会全国大会チュートリアル講演「深層基盤モデルの数理」
taiji_suzuki
25
19k
不確実性下における目的と手段の統合的探索に向けた連続腕バンディットの応用 / iot70_gp_rff_mab
monochromegane
2
190
言語モデルの地図:確率分布と情報幾何による類似性の可視化
shimosan
7
1.8k
診断前の病歴テキストを対象としたLLMによるエンティティリンキング精度検証
hagino3000
1
150
GPUを利用したStein Particle Filterによる点群6自由度モンテカルロSLAM
takuminakao
0
370
Sat2City:3D City Generation from A Single Satellite Image with Cascaded Latent Diffusion
satai
3
130
論文読み会 SNLP2025 Learning Dynamics of LLM Finetuning. In: ICLR 2025
s_mizuki_nlp
0
280
AIグラフィックデザインの進化:断片から統合(One Piece)へ / From Fragment to One Piece: A Survey on AI-Driven Graphic Design
shunk031
0
500
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
0
200
Google Agent Development Kit (ADK) 入門 🚀
mickey_kubo
2
2k
投資戦略202508
pw
0
570
問いを起点に、社会と共鳴する知を育む場へ
matsumoto_r
PRO
0
660
Featured
See All Featured
Being A Developer After 40
akosma
91
590k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Scaling GitHub
holman
463
140k
Building a Modern Day E-commerce SEO Strategy
aleyda
44
7.8k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
Visualization
eitanlees
149
16k
Docker and Python
trallard
46
3.6k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
115
20k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Facilitating Awesome Meetings
lara
56
6.6k
Transcript
Recommending What Video to Watch Next: A Multitask Ranking System
田中 涼 @alpicola (SmartNews)
論文の紹介 今回の RecSys long papers に Google の論文が2本 - Recommending
What Video to Watch Next: A Multitask Ranking System [Z Zhao et al.] - Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations [X Yi et al.]
Retrieve & Ranking アーキテクチャ Retrieve Database Ranking 数百 数十 今日はここの話
問題設定 - YouTube の「次の動画」 - Implicit feedback - Multi-objective -
User engagement (click, watch) - User satisfaction (like, share) - スケーラビリティの要求 - “billions of items and users” - Ranking フェーズ
論文の貢献 - Multi-gate Mixture-of-Expert (MMoE) [KDD 2018] によるマルチ タスク学習 -
Wide & Deep [DLRS 2016] 風の選択バイアスの削減手法 - YouTube プロダクション環境での実験
None
MMoE バイアス 削減
Multi-gate Mixture-of-Expert (MMoE) [J Ma et al., KDD 2018] -
マルチタスク学習の手法 - Shared-Bottom model (左) と比べ、タスク間の相関による悪 影響を受けにくい
学習データの選択バイアス - 特にここでは表示位置によるバイアス (position bias) - ランキング上位がクリックされやすい
選択バイアスの削減 - ‘Shallow’ tower (Wide & Deep の wide) で位置バイ
アスを表現 - User engagementのタスク が対象 - 学習時 position feature に はモデルが依存すぎないよ う drop-out をかける
実験結果 (MMoE) - ベースラインはShared-Bottom - ユニット数を調整して同じ計算コストあたりのパフォーマンスを 比べる
実験結果 (バイアス削減) - ベースライン - Input Feature: position featureを他の入力と一緒に使う -
Adversarial Loss: Adversarial Discriminative Domain Adaptation [CVPR 2017] などの手法を応用
著者らによる補足 (5.4 Discussion) - プロダクションで提供するときのコストを考え、 単純でわかりやすいモデル・手法を好んで使った - 他の手法は以下の理由でマッチしないことが多かった - マルチモーダルな入力
- Multi-objective - Noisy で sparse なデータ - スケーラビリティ - 分散環境での学習
私の感想 - よりよい user satisfaction のために - マルチタスク学習として解くのはよさそう - Shared-Bottom
でも十分かも - 各タスクのスコアはどう使う? - 論文では手動設定重みによる weighted sum - バイアス削減 - シンプルな実装なのはよい - インパクトは出てるのだろうか?