Ad-DS Paper Circle #9

広告輪読会第九回スライド

Transcript

1. Trustworthy Online Marketplace Experimentation With Budget-split Design 〜 アドテクDS勉強会 第9回 〜 AI事業本部 Dynalyst 大塚皇輝
2. 大塚 皇輝 • Dynalyst 24 新卒 • 趣味 ◦ ツーリング（日本一周した） ◦ 散歩 • 好きな食べ物 ◦ トムヤムクン
3. 1. 論文紹介 2. 研究背景と課題 3. 提案手法 4. 実験と評価 5. まとめと所感 6. 所感 7. Appendix 3
4. 論文紹介 • タイトル ◦ Trustworthy Online Marketplace Experimentation With Budget-split Design • 著者 ◦ Min Liu, Jialiang Mao, Kang Kang (全員LinkedIn所属) • 学会 ◦ KDD 2021 • 内容 ◦ 共食いバイアスを取り除いた検証設計
5. 1. 論文紹介 2. 研究背景と課題 3. 提案手法 4. 実験と評価 5. まとめと所感 6. 所感 7. Appendix 5
6. MarketPlace (EC, 広告等) の特徴 • 二部性 ◦ 売り手（広告主）と買い手（ユーザー）の2つの役割が存在 ▪ 通常買い手の方が何十倍も多い • 資源の有限性 ◦ 買い手の予算や、売り手の商品在庫には限りがある
7. ざっくりとした説明だと • ターゲットユーザー • 予算 • その他（入札戦略とか） が組み合わさったキャンペーン集合を マーケットプレイスとする MarketPlace (広告) の表現
8. アウトカムと配信制約 仮に予算以上に配信した としても、 プラットフォーマー側のアウトカム（配信収 益）は予算範囲内に限定 CPNとユーザー粒度で収益を管理し プラットフォーム収益は予算内に限定される
9. SUTVA (Stable unit treatment value assumption) • 因果推論における仮定の一つ ◦ No Interference ▪ ある個体に対する処理が、他の個体に影響を与えない ◦ Treatment Version Consistency ▪ 個体に対する処理はすべて同一 • 相互干渉や処理の不一致等が発生すると介入が一意に定まらない
10. 課題1: Cannibalization bias • 介入群と対照群が有限な資源を共有することで生じるバイアス • 資源が有限な場合取り合いが発生し、効果の過大評価を引き起こす ◦ 相互干渉が発生し、効果にバイアスがのる（今回のメインテーマ） • 例えば… ◦ 広告配信において、改善した介入群が配信予算を多く消費し、一方対照 群の配信予算が減少 ◦ ECにおいて、改善した介入群の推薦がユーザーの予算を先に消費し、 対照群の売上が減少
11. 課題2: アウトカムの逓減 仮に普遍的にポジティブな介入だとしても、 郡に割り当てられた人数が多いほど、一人 当たりのアウトカムが逓減する（希少性バイ アス） （例えばtreatmentのユーザーが少ない場合、 そのユーザーに使える予算は大きくなるので 入札額を上げて獲得できるとか？）
12. 予算制約なしの介入効果 予算制約なし（共食いバイアスなし）の場合 介入群と対照群の人数比を考慮して、ユーザーあたりの効果の合算を比較 介入群と対照群の人数比を正規化 介入群と対照群の判定 アウトカム （配信した予算）
13. 共食いバイアスの推定量 効果の推定量を理想環境上の効果から引くことで、共食いバイアスを推定 ナニコレ
14. Switch back design ・・・ ・・・ control treatment control control treatment • 介入実験を時間区切りで行うことで共食い効果を除去 • 使用前提 ◦ 時間方向に派生する影響が群間に存在しない ◦ 環境が安定している • 検証には時間がかかる 時間 t1 t2 t3 t4 t5
15. 1. 論文紹介 2. 研究背景と課題 3. 提案手法 4. 実験と評価 5. 考察とまとめ 6. 所感 7. Appendix 15
16. 仮想マーケット構築 因果推論を行うために、仮想マーケットプレイスを定義 介入実験 開始 時間 Control (OAM3) Treatment (OAM2) Original （OAM1） ※ OAMはOnline Ads （論文の想定では介入実験以前からOAMは分離されてる想定 だが） 因果推論を行うため • OAM1とOAM2,3は同質 • OAM2とOAM3は同質 という2つの条件が必要 これを満たすマーケットプレイス を構築
17. 仮想マーケット構築 Step1. ユーザーを２つのバケットに分割 Step2. 各キャンペーン予算を人数比に応じて分割
18. 仮想マーケット構築 Step3. 分割したユーザー、予算それぞれを用いてキャンペーンを作成 Step4. 再構築したキャンペーンを用いて、仮想マーケットを構築
19. 効果推定 Treatment OAMからControl OAMの効果を引く ナニコレ
20. ユーザーを絞る場合 ユーザーが多すぎる場合、システム制約上ユーザーを絞る必要が出てくる その場合 • 1 < K < Nとし、Kはシステムが安定稼働する人数よりも多い • Kは十分に大きい値 に設定して、キャンペーンごとの予算をK/Nした値を使用して実験する
21. システム構成 入札とか ログ収集 青色のコンポーネントだけ修正を加えるだけ（？）で実現できる ユーザーごとの ランダム振り分け の追加 介入群と対照群の 区別がつくようにロ ギング Campaignレベルの 予算割当から、 campaign-treatment レベルの予算割当 を可能にする
22. 1. 論文紹介 2. 研究背景と課題 3. 提案手法 4. 実験と評価 5. まとめと所感 6. 所感 7. Appendix 22
23. 評価方法 • 評価手法 ◦ Paired permutation test ◦ Two sample t-test • 実験手法 ◦ Budget-split design ◦ Campaign-level experiments ◦ Switchback experiments • 実験環境 ◦ 2つの異なるオンラインマーケットプレイスで実施
24. 検出力 Budget-split designが80%の検出力を持つ効果量に対して MarketPlace 1 • Campaign-level experiments: 5.2%の検出力 • Switchback experiments: 5.1%の検出力 MarketPlace 2 • Campaign-level experiments: 12%の検出力 • Switchback experiments: 5.2%の検出力
25. 検出力 （横軸の単位がよくわからないが）Budget Split Designを用いると、従来手法と比べて、 効果が小さくても検出しやすい
26. 共食いバイアスに対する頑健性 共食いバイアスを考慮しないと、1~2倍 程度効果を過大評価する可能性があ る (Member-Level実験では、構造的にバイアスが発生 する想定)
27. 1. 論文紹介 2. 研究背景と課題 3. 提案手法 4. 実験と評価 5. まとめ 6. 所感 7. Appendix 27
28. まとめ • 予算分割を用いた方法によって共食いバイアスを除去する方法を提案した • ２つのMarketPlaceにて実証実験を行い、バイアス低下の有効性を確認した
29. 今後の展望 • Budget-split designを用いた上での、効果の分散推定 ◦ 配信効率が10%向上したことが確認できたとして、それがどの程度普遍 性のある結果なのかはわからない • 資源が離散的な場合の検証設計 ◦ 恐らく分割できない資源だった場合を想定？
30. 1. 論文紹介 2. 研究背景と課題 3. 提案手法 4. 実験と評価 5. まとめ 6. 所感 7. Appendix 30
31. 所感 • 共食いバイアスに関しては意識外だったので、概念として把握しておく必要 はありそう • 比較的システム侵襲性が低く実現できそう • 実運用上予算分割はかなり厳しいアクションな気がしているので、気軽に試 すのはビジネス的制約から難しい場合がありそう ◦ 予算分割してる風とか予算無限風の実験設計とかに改良できないの か？