Upgrade to Pro — share decks privately, control downloads, hide ads and more …

どんな機械学習が広告効果を改善するのか

y.hayakawa
August 05, 2020

 どんな機械学習が広告効果を改善するのか

広告効果を改善する機械学習とその広告配信での使い方
また、PJを進める上でA/Bテストが鍵になったという内容です

y.hayakawa

August 05, 2020
Tweet

More Decks by y.hayakawa

Other Decks in Science

Transcript

  1. 自己紹介 
  早川 裕太
 • 株式会社サイバーエージェント AI事業本部 AI ACK
 データサイエンティスト
 • 2019.

    3 東京工業大学 情報理工学院 (修士工学)
 • 2019. 4 - 現職
 ◦ 広告配信プロダクトで 分析・
 MLアルゴリズム 開発・A/Bテスト
 • ビジネス/社会貢献 ため (広く)技術 社会実装に
 興味があります

  2. インターネット広告 × 機械学習
 巨大なインターネット広告市場において 
 ターゲティング広告 必要不可欠 
 
 C

    予測、C 予測、レコメンド等 
 機械学習技術が必要とされる 
 
 
 https://iab.com/wp-content/uploads/2019/10/IAB-HY19-Internet-Advertising-Revenue-Report.pdf
  3. なぜ機械学習が必要とされる か
 • 機械学習により広告効果が大きい人をみつけることができる ず! 
 • 広告を見たからアプリをインストールしてくれる人がわかる 
 •

    広告を見ることでより商品を購入してくれる人がわかる 
 • 広告をみてブランド認知をより深めてくれる人がわかる 
 • 「広告効果が大きいとされた人」に広告を配信すれ 広告効果 改善される ず!! 
 
 機械学習が広告効果を改善するから
 仮説
  4. 機械学習 広告効果を改善しているか? (1)
 "思ったよりも広告効果改善
 できていない?"
 
 • Northwestern, Netflix, Google(当時)

    
 研究者による調査 
 • っきりとリフトしたと言えるも 多くない 
 • なぜ?
 https://marketing.wharton.upenn.edu/wp-content/uploads/2017/08/Johnson-Garrett-PAPER-VERSION-2.pdf
  5. 機械学習 広告効果を改善しているか? (2)
 
 "機械学習、勝手にC する人を
 electionしているだけ説"
 
 • Northwestern,

    Facebook 研究者による調査 
 • 広告によるC とされたも 中で、 
 本当に広告効果だった割合 わずか 
 https://thecorrespondent.com/100/the-new-dot-com-bubble-is-here-its-called-online-advertising/13228924500-22d5fd24 https://www.kellogg.northwestern.edu/faculty/gordon_b/files/fb_comparison.pdf
  6. というわけで本日 発表内容
 • 広告効果を改善する機械学習と広告配信で 使い方
 ◦ 事業課題発 技術開発にプロダクト×研究組織で取り組んだ
 ◦ 研究成果がAdKDD

    2020に採択されました
 • 事業課題改善に繋がる技術開発 ために
 ◦ どうプロジェクト 進んでいった か
 ◦ 事業課題から 問題設定、研究組織と 連携など
 
 

  7. ここまで まとめ:広告効果 定義
 • 本当にターゲティングしたい人 C リフトが大きい人
 ◦ C リフト

    = 広告効果 と定義づける
 
 • C リフトを直接表すデータが手元にない?
 
 →手元 データからなんとかして予測しよう

  8. 予測したいも :C リフト 期待値
 広告をみないとき C 
 広告をみたとき C 


    を予測する枠組み。 plift Modeling 
 C リフト(=広告効果) 期待値

  9. 予測 ため アイデア:two-model approach 
 広告をみないとき C 
 広告をみたとき C

    
 -
 予測モデル1
 予測モデル2
 学習により最小化する損失 

  10. 広告表示バイアス:直感的な解釈
 広告をみたとき C 
 = 広告をみたとき データ み 
 広告をみないとき

    C 
 = 広告をみないとき データ み 
 広告表示されやすい人(状況)
 データが多い
 
 広告表示されにくい人(状況)
 データが多い
 

  11. 広告表示バイアス:直感的な解釈
 広告をみたとき C 
 = 広告をみたとき データ み 
 広告をみないとき

    C 
 = 広告をみないとき データ み 
 広告表示されやすい人(状況)
 データが多い
 
 広告表示されにくい人(状況)
 データが多い
 
 広告表示されやすい・にくい
 状況 データだけで 学習 
 バイアスが生じる
  12. 広告表示バイアス:広告をみたとき C データを例に
 
 
 広告をみたとき C 
 = 広告をみたとき

    データ み 
 最小化したい損失
 反実仮想含めた全て 世界 
 広告表示を受けた時 み 片側 世界 
 
 実際最小化できる損失 

  13. C リフト 予測 仕方
 推定したC リフト
 広告表示時
 推定C 
 広告表示がない時


    推定C 
 推定したC リフトが大きいひとに積極的にターゲティング

  14. 今日省略すること
 • 広告表示を複数回受けるような状態 モデリング
 
 • 広告配信システム全貌
 ◦ 入札額
 ◦

    PID制御
 
 詳しく 論文をご覧ください ...‍♂ https://arxiv.org/pdf/2007.04002.pdf 

  15. 二つ モデルを比較
 
 
 
 
 
 
 案件:アプリ面で 店舗来店促進(O2O広告)

    C = 来店
 実際 広告キャンペーンで 実験:結果
 C リフトベース 
 ターゲティング
 C ベース 
 ターゲティング
 -

  16. 実験 まとめ
 • 実際 広告キャンペーンで実験を行った
 • C リフトベース 配信 、


    低コストでC を伸 す配信が行われていた
 • 引き続き実験予定
 

  17. 広告効果を改善する機械学習
 • 広告効果をきちんと定義し、
 それを機械学習で予測する枠組みを与えた
 • 実際 広告配信で実験
 • CAで ユーザごと

    因果効果推定
 aito, Yuta and Yasui hotai. "Counterfactual Cross- alidation: 
 table Model election Procedure for Causal Inference Models." 
 ICML. 2020. 

  18. プロジェクト スタートからゴールまで
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 
 プロジェクト開始
 プロダクトで 
 継続的運用
 (社会実装)

  19. フェーズごと 連携プレー
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 プロジェクト開始
 
 D 
 Biz
 プロダクトで 
 継続的運用
 (社会実装)

  20. フェーズごと 連携プレー
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 プロジェクト開始
 
 D 
 
 
 プロダクトで 
 継続的運用
 (社会実装)

  21. フェーズごと 連携プレー
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 プロジェクト開始
 
 D 
 Dev
 
 プロダクトで 
 継続的運用
 (社会実装)

  22. フェーズごと 連携プレー
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 プロジェクト開始
 
 D 
 
 Biz
 Dev
 プロダクトで 
 継続的運用
 (社会実装)

  23. フェーズごと 連携プレー
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 プロジェクト開始
 
 D 
 
 
 プロダクトで 
 継続的運用
 (社会実装)

  24. フェーズごと 連携プレー
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 プロジェクト開始
 
 D 
 Biz
 Dev
 プロダクトで 
 継続的運用
 (社会実装)

  25. どう始まり、どう終わらせる か
 基礎となった
 プロダクト開発・研究 
 
 事業課題から 
 問題設定
 手法開発


    プロダクト実装
 PoC実施
 論文投稿・採択
 プロダクト導入に向けた 
 仕組みづくり・開発
 (今ココ)
 G
 
 プロジェクト開始
 ①
 ②
 プロダクトで 
 継続的運用
 (社会実装)

  26. 事業課題から 問題設定
 
 Biz
 よりCVを伸 すようなプロダクトにしたい ... 広告主的に 広告をやって、売上 YonY上がったとかが納得度高

    そう... CVリフトを目標にしてみる よさそうでしょうか Uplift modelingでリフトするユーザに広告配信する 進 めてみてもいいですか? D 

  27. 事業課題から 問題設定
 
 Biz
 D 
 よりCVを伸 すようなプロダクトにしたい ... 広告主的に

    広告をやって、売上 YonY上がったとかが納得度高 そう... CVリフトを目標にしてみる よさそうでしょうか Uplift modelingでリフトするユーザに広告配信する 進 めてみてもいいですか? • まず KPI整理:「よりC を伸 すような広告プロダクト」を整理した 
 ◦ どんな指標を改善したい か:C リフト
 ◦ A/Bテスト 文脈で Overall Evaluation Criterion (OEC)を決めるとよいとされ、複数 指標を組み合わせることが推奨される*
 * rustworthy Online Controlled Experiments : A Practical Guide to A/B esting
  28. A/B テストありき プロジェクトスタート
 Biz
 やってみよう CVリフトを目標にしてみる よさそうでしょうか Uplift modelingでリフトするユーザに広告配信する 進

    めてみてもいいですか? • オンラインで 事業KPI改善を検証するという着地 
 ◦ 検証 為にA/Bテストをすることに
 ◦ 事業的にも嬉しいし、実 論文的にも嬉しい 
 → ビジネス〜研究者まで揃った チームを組織できた要因
 オンラインで 既存配信と 比較を PoCで 評価としま しょう 
 
 D 
 D 

  29. これから 運用 ため 継続的なA/Bテスト( IP)
 
 
 広告効果を改善する機械学習を考えてきたが、
 よりメタに 広告効果を改善する配信ロジックがあれ

    よい
 大切な 与えられた予算でよりC リフトさせるような広告配信をすること 
 広告配信ロジック
 
 広告配信予算
 C リフト

  30. これから 運用 ため 継続的なA/Bテスト( IP)
 
 
 プロダクトで 広告配信ロジック A/Bテスト基盤でどんどん比較


    よりよいC をもたらすロジックを継続的に見つけることを目指す
 
 大切な 与えられた予算でよりC リフトさせるような広告配信をすること 
 広告配信ロジック
 
 広告配信予算
 C リフト

  31. A/Bテスト( C )
 
 
 • ある技術・施策を社会実装すべきか
 意思決定するため 技術
 ◦

    機械学習とか研究PJに限らず
 ビジネス・エンジニア・
 デザイナー... 仕事と関係アリ
 ◦ 事業KPI改善→採用 という意思決定が可能に
 ◦ すでに社会実装した技術・施策 継続的な改善 ためにも必須
 
 
 技術・施策
 社会
 ABテスト

  32. A/Bテスト( C ) 難しさ
 • 文化:意思決定 技術として組織に浸透するか
 ◦ 例)私 伝え聞いたこと

    ある批判
 ▪ 「A/Bテスト ビジネス上些細な差を見つけるため も だ」
 ▪ 「A/Bテスト スピードが遅い」
 • 技術:正しく評価/実装することが難しい
 ◦ 例)予算がある設定で A*が担保されない場合がある 
 ◦ 例) Aを考慮した予算管理やそ ため データ構造にするに ...? 
 
 • そ 他:コスト面 問題や倫理的な問題で難しい
 
 
 * SUTVA : ある群へ 処置が他 群に影響を及ぼさないという仮定
  33. それでもやりたいA/Bテスト( C )
 • 文化:
 ◦ 文化を浸透させる手段に関して あまり知りません(教えてください)
 ◦ AI事業本部/CA

    A/Bテストに対して積極的なよい環境
 → 先行事例: で 論文採択とA/Bテストを評価地点とする広告AI開発
 ◦ ぜひ一緒に実験しましょう!
 • 技術:
 ◦ D が実験(基盤) デザインをする
 ◦ 勉強しました 
 ▪ rustworthy Online Controlled Experiments : A Practical Guide to A/B esting
 ▪ practicalな落とし穴とそ 対処法がたくさん学べる