Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
どんな機械学習が広告効果を改善するのか
Search
y.hayakawa
August 05, 2020
Science
13
8.1k
どんな機械学習が広告効果を改善するのか
広告効果を改善する機械学習とその広告配信での使い方
また、PJを進める上でA/Bテストが鍵になったという内容です
y.hayakawa
August 05, 2020
Tweet
Share
More Decks by y.hayakawa
See All by y.hayakawa
O2O広告のためのデータサイエンス
qiringji
1
1k
Other Decks in Science
See All in Science
Causal discovery based on non-Gaussianity and nonlinearity
sshimizu2006
0
170
Introduction to Graph Neural Networks
joisino
PRO
4
2k
(Forkwell Library #48)『詳解 インシデントレスポンス』で学び倒すブルーチーム技術
scientia
2
1.3k
WeMeet Group - 採用資料
wemeet
0
3k
Machine Learning for Materials (Lecture 8)
aronwalsh
0
410
学術講演会中央大学学員会八王子支部
tagtag
0
220
インフラだけではない MLOps の話 @事例でわかるMLOps 機械学習の成果をスケールさせる処方箋 発売記念
icoxfog417
2
520
Coqで選択公理を形式化してみた
soukouki
0
180
Machine Learning for Materials (Lecture 4)
aronwalsh
0
790
山形とさくらんぼに関するレクチャー(YG-900)
07jp27
1
210
はじめてのバックドア基準:あるいは、重回帰分析の偏回帰係数を因果効果の推定値として解釈してよいのか問題
takehikoihayashi
2
660
創薬における機械学習技術について
kanojikajino
7
1.8k
Featured
See All Featured
Music & Morning Musume
bryan
46
6.1k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
How STYLIGHT went responsive
nonsquared
95
5.2k
Done Done
chrislema
181
16k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
9
680
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
How To Stay Up To Date on Web Technology
chriscoyier
788
250k
Why Our Code Smells
bkeepers
PRO
334
57k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
7.9k
Code Reviewing Like a Champion
maltzj
519
39k
Fontdeck: Realign not Redesign
paulrobertlloyd
81
5.2k
Why You Should Never Use an ORM
jnunemaker
PRO
53
9k
Transcript
どんな機械学習が 広告効果を改善する か 株式会社サイバーエージェント AI ACK 早川裕太
自己紹介 早川 裕太 • 株式会社サイバーエージェント AI事業本部 AI ACK データサイエンティスト • 2019.
3 東京工業大学 情報理工学院 (修士工学) • 2019. 4 - 現職 ◦ 広告配信プロダクトで 分析・ MLアルゴリズム 開発・A/Bテスト • ビジネス/社会貢献 ため (広く)技術 社会実装に 興味があります
イントロとして... インターネット広告 × 機械学習について考えてみる
インターネット広告 × 機械学習 巨大なインターネット広告市場において ターゲティング広告 必要不可欠 C
予測、C 予測、レコメンド等 機械学習技術が必要とされる https://iab.com/wp-content/uploads/2019/10/IAB-HY19-Internet-Advertising-Revenue-Report.pdf
なぜ機械学習が必要とされる か • 機械学習により広告効果が大きい人をみつけることができる ず! • 広告を見たからアプリをインストールしてくれる人がわかる •
広告を見ることでより商品を購入してくれる人がわかる • 広告をみてブランド認知をより深めてくれる人がわかる • 「広告効果が大きいとされた人」に広告を配信すれ 広告効果 改善される ず!! 機械学習が広告効果を改善するから 仮説
機械学習 広告効果を改善しているか? (1) "思ったよりも広告効果改善 できていない?" • Northwestern, Netflix, Google(当時)
研究者による調査 • っきりとリフトしたと言えるも 多くない • なぜ? https://marketing.wharton.upenn.edu/wp-content/uploads/2017/08/Johnson-Garrett-PAPER-VERSION-2.pdf
機械学習 広告効果を改善しているか? (2) "機械学習、勝手にC する人を electionしているだけ説" • Northwestern,
Facebook 研究者による調査 • 広告によるC とされたも 中で、 本当に広告効果だった割合 わずか https://thecorrespondent.com/100/the-new-dot-com-bubble-is-here-its-called-online-advertising/13228924500-22d5fd24 https://www.kellogg.northwestern.edu/faculty/gordon_b/files/fb_comparison.pdf
(新卒僕) 広告効果を改善する機械学習がしたいです......
というわけで本日 発表内容 • 広告効果を改善する機械学習と広告配信で 使い方 ◦ 事業課題発 技術開発にプロダクト×研究組織で取り組んだ ◦ 研究成果がAdKDD
2020に採択されました • 事業課題改善に繋がる技術開発 ために ◦ どうプロジェクト 進んでいった か ◦ 事業課題から 問題設定、研究組織と 連携など
本日 発表で メッセージ • 広告効果を定義し機械学習で予測しよう • 事業課題改善に繋がる技術開発 最重要項目
A/Bテストができる環境と文化だ
広告効果を改善する機械学習と 広告配信で 使い方 Daisuke Moriwaki, Yuta Hayakawa, Isshu Munemasa, Yuta
aito, Akira Matsui, nbiased Lift-based bidding system, In AdKDD 2020
なぜ広告効果 改善が難しい か 実 適切なターゲティングできていない説 仮説
本当にターゲティングしたい人 誰か? 広告を見て1000円買うAさん 広告を見て3000円買うBさん 広告を見ず2000円買うCさん ?
本当にターゲティングしたい人 誰か? 広告を見せたから1000円買うAさん 実 広告を見ないと800円だったAさん 広告配信してよかった
本当にターゲティングしたい人 誰か? 広告を見せたから3000円買うBさん 実 広告を見ないと4000円だったBさん 広告配信しないほうがよかった
本当にターゲティングしたい人 > 広告をみないとき C 広告をみたとき C
本当にターゲティングしたい人 > 広告をみないとき C 広告をみたとき C - 0
C リフト (= 広告効果) 定義
本当にターゲティングしたい人 広告をみないとき C 広告をみたとき C - がより大きい人 C
リフト (= 広告効果) 定義
ちなみにC を活用したターゲティング ... 広告をみたとき C がより大きい人
因果推論 根本問題:反実仮想(パラレルワールド) を知る必要あり 広告をみないとき 世界線 広告をみたとき 世界線 事前に両方わからないと意思決定できない...
手元に どちらか データしかない でお手上げ
ここまで まとめ:広告効果 定義 • 本当にターゲティングしたい人 C リフトが大きい人 ◦ C リフト
= 広告効果 と定義づける • C リフトを直接表すデータが手元にない? →手元 データからなんとかして予測しよう
予測 ため 準備:Potential Outcome 導入 広告をみないとき C 広告をみたとき C
興味があるも :条件付期待値 広告をみないとき C 広告をみたとき C 特徴量(ユーザに関する情報など)
予測したいも :C リフト 期待値 広告をみないとき C 広告をみたとき C
を予測する枠組み。 plift Modeling C リフト(=広告効果) 期待値
予測 ため アイデア:two-model approach 広告をみないとき C 広告をみたとき C
- 予測モデル1 予測モデル2
予測 ため アイデア:two-model approach 広告をみないとき C 広告をみたとき C
- 予測モデル1 予測モデル2 学習により最小化する損失
これで学習できる...!
...データがない問題どこ行った?
広告表示バイアス:直感的な解釈 広告をみたとき C = 広告をみたとき データ み 広告をみないとき
C = 広告をみないとき データ み 広告表示されやすい人(状況) データが多い 広告表示されにくい人(状況) データが多い
広告表示バイアス:直感的な解釈 広告をみたとき C = 広告をみたとき データ み 広告をみないとき
C = 広告をみないとき データ み 広告表示されやすい人(状況) データが多い 広告表示されにくい人(状況) データが多い 広告表示されやすい・にくい 状況 データだけで 学習 バイアスが生じる
広告表示バイアス:広告をみたとき C データを例に 広告をみたとき C = 広告をみたとき
データ み 最小化したい損失
広告表示バイアス:広告をみたとき C データを例に 広告をみたとき C = 広告をみたとき
データ み 最小化したい損失 反実仮想含めた全て 世界
広告表示バイアス:広告をみたとき C データを例に 広告をみたとき C = 広告をみたとき
データ み 最小化したい損失 反実仮想含めた全て 世界 広告表示を受けた時 み 片側 世界 実際最小化できる損失
広告表示バイアス 除去: 最小化したい損失 観測可能なデータ みから 学習
広告表示バイアス 除去: 最小化したい損失 観測可能なデータ みから 学習 仮定 元で 広告表示される確率
IP (inverse propensity weightingという手法)
ここまで まとめ • 手元 データだけだと広告表示 受けやすさ バイアスが学 習に影響を及ぼしてしまう • 広告表示確率で割り戻してunbiasedな学習可能
C リフト 予測 仕方 推定したC リフト 広告表示時 推定C 広告表示がない時
推定C 推定したC リフトが大きいひとに積極的にターゲティング
今日省略すること • 広告表示を複数回受けるような状態 モデリング • 広告配信システム全貌 ◦ 入札額 ◦
PID制御 詳しく 論文をご覧ください ...♂ https://arxiv.org/pdf/2007.04002.pdf
二つ モデルを比較 案件:アプリ面で 店舗来店促進(O2O広告)
C = 来店 実際 広告キャンペーンで 実験:結果 C リフトベース ターゲティング C ベース ターゲティング -
リーチ率やimp数を有意に増加させた 一方で来店 微増(有意差なし) 実際 広告キャンペーンで 実験:結果
一方で提案法 配信原価をかなり削減していた:コスパよし 実際 広告キャンペーンで 実験:結果 配信原価をより使う設定で再実験中 better
実験 まとめ • 実際 広告キャンペーンで実験を行った • C リフトベース 配信 、
低コストでC を伸 す配信が行われていた • 引き続き実験予定
広告効果を改善する機械学習 • 広告効果をきちんと定義し、 それを機械学習で予測する枠組みを与えた • 実際 広告配信で実験 • CAで ユーザごと
因果効果推定 aito, Yuta and Yasui hotai. "Counterfactual Cross- alidation: table Model election Procedure for Causal Inference Models." ICML. 2020.
事業課題改善に繋がる 技術開発 ために
事業課題改善に繋がる技術開発 ために • プロジェクト概要とポイントだったこと • 事業課題改善 ため 技術開発とA/Bテスト
事業課題改善に繋がる技術開発 ために • プロジェクト概要とポイントだったこと • 事業課題改善 ため 技術開発とA/Bテスト
誰と進めた か:チーム体制 研究組織 社外研究者 D Biz Dev プロダクト 研究者
プロジェクト スタートからゴールまで 基礎となった プロダクト開発・研究 事業課題から 問題設定 手法開発
プロダクト実装 PoC実施 論文投稿・採択 プロダクト導入に向けた 仕組みづくり・開発 (今ココ) G プロジェクト開始 プロダクトで 継続的運用 (社会実装)
フェーズごと 連携プレー 基礎となった プロダクト開発・研究 事業課題から 問題設定 手法開発
プロダクト実装 PoC実施 論文投稿・採択 プロダクト導入に向けた 仕組みづくり・開発 (今ココ) G プロジェクト開始 D Biz プロダクトで 継続的運用 (社会実装)
フェーズごと 連携プレー 基礎となった プロダクト開発・研究 事業課題から 問題設定 手法開発
プロダクト実装 PoC実施 論文投稿・採択 プロダクト導入に向けた 仕組みづくり・開発 (今ココ) G プロジェクト開始 D プロダクトで 継続的運用 (社会実装)
フェーズごと 連携プレー 基礎となった プロダクト開発・研究 事業課題から 問題設定 手法開発
プロダクト実装 PoC実施 論文投稿・採択 プロダクト導入に向けた 仕組みづくり・開発 (今ココ) G プロジェクト開始 D Dev プロダクトで 継続的運用 (社会実装)
フェーズごと 連携プレー 基礎となった プロダクト開発・研究 事業課題から 問題設定 手法開発
プロダクト実装 PoC実施 論文投稿・採択 プロダクト導入に向けた 仕組みづくり・開発 (今ココ) G プロジェクト開始 D Biz Dev プロダクトで 継続的運用 (社会実装)
フェーズごと 連携プレー 基礎となった プロダクト開発・研究 事業課題から 問題設定 手法開発
プロダクト実装 PoC実施 論文投稿・採択 プロダクト導入に向けた 仕組みづくり・開発 (今ココ) G プロジェクト開始 D プロダクトで 継続的運用 (社会実装)
フェーズごと 連携プレー 基礎となった プロダクト開発・研究 事業課題から 問題設定 手法開発
プロダクト実装 PoC実施 論文投稿・採択 プロダクト導入に向けた 仕組みづくり・開発 (今ココ) G プロジェクト開始 D Biz Dev プロダクトで 継続的運用 (社会実装)
どう始まり、どう終わらせる か 基礎となった プロダクト開発・研究 事業課題から 問題設定 手法開発
プロダクト実装 PoC実施 論文投稿・採択 プロダクト導入に向けた 仕組みづくり・開発 (今ココ) G プロジェクト開始 ① ② プロダクトで 継続的運用 (社会実装)
どう始まり、どう終わらせる か ① 事業課題から 問題設定とA/Bテストありき PJスタート
② これから 運用 ため 継続的なA/Bテスト
事業課題から 問題設定 Biz よりCVを伸 すようなプロダクトにしたい ... 広告主的に 広告をやって、売上 YonY上がったとかが納得度高
そう... CVリフトを目標にしてみる よさそうでしょうか Uplift modelingでリフトするユーザに広告配信する 進 めてみてもいいですか? D
事業課題から 問題設定 Biz D よりCVを伸 すようなプロダクトにしたい ... 広告主的に
広告をやって、売上 YonY上がったとかが納得度高 そう... CVリフトを目標にしてみる よさそうでしょうか Uplift modelingでリフトするユーザに広告配信する 進 めてみてもいいですか? • まず KPI整理:「よりC を伸 すような広告プロダクト」を整理した ◦ どんな指標を改善したい か:C リフト ◦ A/Bテスト 文脈で Overall Evaluation Criterion (OEC)を決めるとよいとされ、複数 指標を組み合わせることが推奨される* * rustworthy Online Controlled Experiments : A Practical Guide to A/B esting
A/B テストありき プロジェクトスタート Biz やってみよう CVリフトを目標にしてみる よさそうでしょうか Uplift modelingでリフトするユーザに広告配信する 進
めてみてもいいですか? • オンラインで 事業KPI改善を検証するという着地 ◦ 検証 為にA/Bテストをすることに ◦ 事業的にも嬉しいし、実 論文的にも嬉しい → ビジネス〜研究者まで揃った チームを組織できた要因 オンラインで 既存配信と 比較を PoCで 評価としま しょう D D
これから 運用 ため 継続的なA/Bテスト( IP) 広告効果を改善する機械学習を考えてきたが、 よりメタに 広告効果を改善する配信ロジックがあれ
よい 大切な 与えられた予算でよりC リフトさせるような広告配信をすること 広告配信ロジック 広告配信予算 C リフト
これから 運用 ため 継続的なA/Bテスト( IP) プロダクトで 広告配信ロジック A/Bテスト基盤でどんどん比較
よりよいC をもたらすロジックを継続的に見つけることを目指す 大切な 与えられた予算でよりC リフトさせるような広告配信をすること 広告配信ロジック 広告配信予算 C リフト
鍵となる A/Bテスト ① 事業課題から 問題設定とA/Bテストありき PJスタート
② これから 運用 ため 継続的なA/Bテスト
事業課題改善に繋がる技術開発 ために • プロジェクト概要とポイントだったこと • 事業課題改善 ため 技術開発とA/Bテスト
事業課題改善 ため 技術開発とA/Bテスト • 先日話題になっていた、機械学習を「社会実装」するということ でもビジネスインパクト 測定 難しさについて言及されていた
• A/Bテスト 社会実装・効果測定において どういった役割を果たす?
A/Bテスト( C ) • ある技術・施策を社会実装すべきか 意思決定するため 技術 ◦
機械学習とか研究PJに限らず ビジネス・エンジニア・ デザイナー... 仕事と関係アリ ◦ 事業KPI改善→採用 という意思決定が可能に ◦ すでに社会実装した技術・施策 継続的な改善 ためにも必須 技術・施策 社会 ABテスト
A/Bテスト( C ) 難しさ • 文化:意思決定 技術として組織に浸透するか ◦ 例)私 伝え聞いたこと
ある批判 ▪ 「A/Bテスト ビジネス上些細な差を見つけるため も だ」 ▪ 「A/Bテスト スピードが遅い」 • 技術:正しく評価/実装することが難しい ◦ 例)予算がある設定で A*が担保されない場合がある ◦ 例) Aを考慮した予算管理やそ ため データ構造にするに ...? • そ 他:コスト面 問題や倫理的な問題で難しい * SUTVA : ある群へ 処置が他 群に影響を及ぼさないという仮定
それでもやりたいA/Bテスト( C ) • 文化: ◦ 文化を浸透させる手段に関して あまり知りません(教えてください) ◦ AI事業本部/CA
A/Bテストに対して積極的なよい環境 → 先行事例: で 論文採択とA/Bテストを評価地点とする広告AI開発 ◦ ぜひ一緒に実験しましょう! • 技術: ◦ D が実験(基盤) デザインをする ◦ 勉強しました ▪ rustworthy Online Controlled Experiments : A Practical Guide to A/B esting ▪ practicalな落とし穴とそ 対処法がたくさん学べる
全体まとめ:メッセージ • 広告効果を定義し機械学習で予測しよう • 事業課題改善に繋がる技術開発 最重要項目 A/Bテストができる環境と文化だ
ありがとうございました 資料中 写真・イラスト www.freepik.com/