Share
Embed
効果検証入門から見直す 「データサイエンス」
Shota Yasui
August 28, 2020
Transcript
98 slides
-
2 自己紹介 名前:安井翔太(32) 職業:Economic Research Scientist Data Science Center 副所長
経歴: 2011年 立教大学 経済学部卒業 2013年 Norwegian School of Economics MSc in Economics 2013年 Cyberagent 入社(総合職, 微妙な分析の量産) 2015年 アドテク部門へ異動(専門職, MLの応用) 2017年 AILabへ異動(研究職, ML + CI回りの応用) @housecat442 -
なぜ因果推論が大事なのか? 4 • よく見るデータサイエンスの問題 ◦ 効果の検証はかなりいい加減なことができる ◦ データのバイアスは無視されがち →この2つに対してリスクがよく理解されていない
• 因果推論はリスクの理解と対応策を教えてくれる ◦ 「効果」について正面から取り組む唯一(?)の分野 ◦ データのバイアスの対処方法がわかる -
効果の定義 何かしらの施策 世界線Aの鍋 世界線Bの鍋 9 鍋 •
鍋Aと鍋Bの味の差(効果)を知りたい 塩を加えるか否か... -
統計学とは? 手元にあるデータから、母集団のことを考えるための学問 • 例: 味噌汁 ◦ 味噌汁の味見をするとき、全部飲むのではなく小皿ですくって確認する •
ざっくりした用語のまとめ ◦ パラメータ(期待値): 鍋全体の塩辛さ ◦ 推定量(平均): 小皿の塩辛さ ◦ 推定値: 推定量の実際の値のこと。(データで得られる値) 12 -
クーポンの効果を考える クーポンを付与(介 入) 世界線Aのユーザー i さん ユーザー i さん
15 世界線Bのユーザー i さん 購入:2000円 購入:3000円 ECサイトであるユーザーにクーポンを配布 -
因果推論の根本問題 クーポンを付与(介 入) 世界線Aのユーザー ユーザー 同時に観測が できない 18 世界線Bのユーザー
購入:2000円 購入:3000円 -
適当な集計の問題 20 クーポンが配布されなかった ユーザーの平均売り上げ クーポンが配布された ユーザーの平均売り上げ
1000円 3000円 効果は 2000円? -
発生源が存在する 23 例えば購買予測を行って、予測値が高いユーザーにクーポンを配布する場合・・・ 予測購買確率:80% 予測購買確率:70% 何かしらの予測モデル 予測購買確率:60% 予測購買確率:40% 担当者
クーポンがなくても 売り上げが高い が高い が低い Z = 1 Z = 0 -
バイアスの発生にはパターンがある • 介入Zは何かしらの意思決定を元に割り振られる ◦ 誰が、何のために、何を参照して割り振っているか? • クーポンの場合・・・ ◦ 担当者がクーポン施策の成功を目指して割り振る。
◦ 何をもって成功と考えるか? ▪ 単純な集計の結果で売り上げが高くなることを成功とすると・・・ 24 -
A/Bテストの流れ • 介入(Z)を定義する • 介入の有無をランダムに決める • 介入有無のグループ間を比較する 30
出典)A/B Testing at Scale Tutorial given at SIGIR 2017 and KDD 2017) -
A/Bテストとセレクションバイアス 31 クーポンがなくても 発生する売上 クーポンの効果 1000円 ランダムに クーポンを割り振り • クーポンをランダムに選んだユーザー
に配布 • その結果Y0がZ=1とZ=0のグループに おいて同等になった -
回帰分析とは・・・? 37 回帰分析ってあれですよね・・・ • 誤差を最小にするように線を学習するやつですよね • データの分布に合わせてロジスティック回帰とか考えな いといけないですよね •
VIFとかみて多重共線性も確認しないとですね • 予測の性能を最適化するためにstep wise AICでモデル 選択したり -
回帰分析とは・・・? 38 回帰分析ってあれですよね・・・ • 誤差を最小にするように線を学習するやつですよね • データの分布に合わせてロジスティック回帰とか考えな いといけないですよね •
VIFとかみて多重共線性も確認しないとですね • 予測の性能を最適化するためにstep wise AICでモデル 選択したり • Cross-Validationで汎化誤差を考慮してモデル選択したり -
回帰分析とは・・・? 39 回帰分析ってあれですよね・・・ • 誤差を最小にするように線を学習するやつですよね • データの分布に合わせてロジスティック回帰とか考えな いといけないですよね •
VIFとかみて多重共線性も確認しないとですね • 予測の性能を最適化するためにstep wise AICでモデル 選択したり • Cross-Validationで汎化誤差を考慮してモデル選択したり • あとR^2もありましたね・・・ -
回帰分析とは・・・? 40 回帰分析ってあれですよね・・・ • 誤差を最小にするように線を学習するやつですよね • データの分布に合わせてロジスティック回帰とか考えな いといけないですよね •
VIFとかみて多重共線性も確認しないとですね • 予測の性能を最適化するためにstep wise AICでモデル 選択したり • Cross-Validationで汎化誤差を考慮してモデル選択したり • あとR^2もありましたね・・・ • え、分散不均一性・・・? -
回帰分析とは・・・? 41 回帰分析ってあれですよね・・・ • 誤差を最小にするように線を学習するやつですよね • データの分布に合わせてロジスティック回帰とか考えな いといけないですよね •
VIFとかみて多重共線性も確認しないとですね • 予測の性能を最適化するためにstep wise AICでモデル 選択したり • Cross-Validationで汎化誤差を考慮してモデル選択したり • あとR^2もありましたね・・・ • え、分散不均一性・・・? • い、因果効果・・・ -
複雑怪奇な回帰 44 いろいろな分野の常識が持ち込まれて キメラ化した回帰分析 効果検証だけ考えた シンプルな回帰分析
因果 効果 説明 予測 因果 効果 -
効果検証での回帰分析の考え方 バイアスのある 母集団 サンプル 46 母集団 セレクションバイアスの原因と思われる変数 ・過去の購買量 ・年齢や性別などのデモグラ
・etc... 推定したい真の効果 Zの効果を表すパラメーター -
効果検証での回帰分析の考え方 バイアスのある 母集団 サンプル 47 母集団 セレクションバイアスの原因になる変数をモ デルに入れると近づく セレクションバイアスの原因と思われる変数
・過去の購買量 ・年齢や性別などのデモグラ ・etc... 推定したい真の効果 Zの効果を表すパラメーター -
効果検証での回帰分析の考え方 バイアスのある 母集団 サンプル 48 母集団 セレクションバイアスの原因になる変数をモ デルに入れると近づく 推定したい真の効果
Zの効果を表すパラメーター この母集団も観測できない =この回帰分析は実行不可能 母集団で回帰分析! -
効果検証での回帰分析の考え方 バイアスのある 母集団 サンプル 49 母集団 セレクションバイアスの原因になる変数をモ デルに入れると近づく 推定したい真の効果
• 母集団におけるγの推定値 • 真の効果の推定値 手元のデータで回帰分析! 母集団で回帰分析! 推定! -
きになること・・・ • xってどう選べば良いの? • 入れちゃダメな変数は? • 多重共線性考えなくて良いのか? • 予測性能みなくて良いのか? •
線形回帰で良いのか? →効果検証入門をぜひ -
傾向スコアとは? • 介入が割り振られる確率のこと ◦ ロジスティック回帰などで推定が可能 • これを使ってバイアスを小さくする • 主な使い方 ◦
マッチング ◦ IPW(IPS or Holvitz-Thompson Estimator) 52 -
クーポンを配ってみる 53 ユーザーグループA ユーザーグループB ユーザーグループC 売り上げ:高 クーポン確率:20%
売り上げ:中 クーポン確率:40% 売り上げ:低 クーポン確率:50% • クーポンの効果は一律1000円 • が高いユーザーにはクーポンが配られないという設定 • セレクションバイアスは負の値になる -
集計で効果を推定する 54 ユーザーグループA ユーザーグループB ユーザーグループC 平均売上=2556 平均売上=3359
→推定された効果は約800円 売り上げ:高 クーポン確率:20% 売り上げ:中 クーポン確率:40% 売り上げ:低 クーポン確率:50% -
IPWのイメージ 55 ユーザーグループA ユーザーグループB ユーザーグループC このデータが全て観測できた
場合の平均が知りたい このデータが全て観測できた 場合の平均が知りたい 売り上げ:高 クーポン確率:20% 売り上げ:中 クーポン確率:40% 売り上げ:低 クーポン確率:50% -
IPWのイメージ 56 ユーザーグループA ユーザーグループB ユーザーグループC このデータが全て観測できた
場合の平均が知りたい このデータが全て観測できた 場合の平均が知りたい この差分が効果の推定値になる 売り上げ:高 クーポン確率:20% 売り上げ:中 クーポン確率:40% 売り上げ:低 クーポン確率:50% -
IPWのイメージ 57 ユーザーグループA ユーザーグループB ユーザーグループC 5人中1人しか観測されない
→このユーザーを5人分カウントしよう x5 売り上げ:高 クーポン確率:20% 売り上げ:中 クーポン確率:40% 売り上げ:低 クーポン確率:50% -
IPWのイメージ 58 ユーザーグループA ユーザーグループB ユーザーグループC 5人中2人しか観測されない
→2人を2.5人分ずつカウントしよう x5 x2.5 x2.5 売り上げ:高 クーポン確率:20% 売り上げ:中 クーポン確率:40% 売り上げ:低 クーポン確率:50% -
IPWのイメージ 59 ユーザーグループA ユーザーグループB ユーザーグループC 4人中2人しか観測されない
→2人を2人分ずつカウントしよう x2.5 x2.5 x5 x2 x2 売り上げ:高 クーポン確率:20% 売り上げ:中 クーポン確率:40% 売り上げ:低 クーポン確率:50% -
IPWのイメージ 60 ユーザーグループA ユーザーグループB ユーザーグループC {(3824x5) +
(3726x2.5) + (2506 x 2.5) + (3015x2) + (2727x2) } / 14 = 3477 x2.5 x2.5 x5 x2 x2 売り上げ:高 クーポン確率:20% 売り上げ:中 クーポン確率:40% 売り上げ:低 クーポン確率:50% -
IPWのイメージ 61 ユーザーグループA ユーザーグループB ユーザーグループC {(2047 +
2953 + 2833 + 2866)x1.25 + (2482 + 2443 + 2102)x1.66 + (2234 + 2044)x2 } / 14 =2492 x1.25 x2 x1.25 x1.25 x1.25 x1.66 x1.66 x1.66 x2 売り上げ:高 クーポン確率:20% 売り上げ:中 クーポン確率:40% 売り上げ:低 クーポン確率:50% -
IPWのイメージ 62 ユーザーグループA ユーザーグループB ユーザーグループC 推定された売上 =2492
推定された売上 =3477 →推定された効果は約985円 売り上げ:高 クーポン確率:20% 売り上げ:中 クーポン確率:40% 売り上げ:低 クーポン確率:50% -
(余談)マッチングのイメージ 63 →推定された効果は約940円 3824 - 2833 =
991 3726 - 2482 = 1283 3506 - 2443 = 1063 3015 - 2334 = 681 2727 - 2044 = 683 傾向スコアの近いユーザーをペアにして、差分 を効果として計算する。 -
広告テンプレート選択@CyberAgent 64 slot _1 slot _2 slot _3 slot_1 sl
ot _2 ユーザー セグメント{A,B,C} 予測モデル 意思決定 ルール slot_1 sl ot _2 広告表示 クリック 広告画像の 選択肢 セグメントにより選ばれやすい画像が異なる • セグメントA ◦ 80%の確率でZ=1 ◦ 20%の確率でZ=0 • セグメントB ◦ 60%の確率でZ=1 ◦ 40%の確率でZ=0 • セグメントC ◦ 40%の確率でZ=1 ◦ 60%の確率でZ=0 -
考えるお題 広告画像の選択肢を評価・比較したい →無駄なものは削除したい 65 slot_1 slot_2 slot_3 slot_1 slot
_2 template_id: 26 template_id: 75 -
効果検証から得られる観点 69 観測されるデータには バイアスが存在する 世界線Bの鍋の味 世界線Aの鍋の味 施策の効果
効果は2つの世界線の差にある →これらの観点は他のDS技術でどう捉えられているのか? -
母集団 学習データにバイアスがある場合 76 バイアスのある 母集団 サンプル (学習データ) サンプル テストデータ バイアスのある母集団の誤差の推定値
を最小化して得られたモデル 別の母集団への誤差を最小にしているので 誤差は思うように小さくならない -
おさらい • 学習データにはバイアスがあるかも ◦ 調査に協力してくれたユーザーのデータしかない ◦ でも予測は全部のユーザーにしたい • 何も考慮しなければどうなるのか?
◦ バイアスのある母集団への誤差を最小化する ◦ これはバイアスの無い母集団への誤差最小化とは一致しない 77 -
実際どう捉えられているか? • 技術的には対応策はいろいろ提案されている ◦ Covariate Shift ◦ Domain Adaptation ◦
etc... • 技術に関して手に入りやすい情報があまりない ◦ 日本語の教科書とかにはほぼ情報がない ◦ 特にどんな時に使えば良いのかが議論されてない 78 -
母集団 他の分野でも起きること 79 バイアスのある 母集団 サンプル (学習データ) 得られるデータにはバイアスがある 単純に損失の最小化をしても本当に行いたい
予測や知識は得られない バイアスの無い母集団での損失が最小化できると 予測ができたり何かがわかったりする -
例:モデルの解釈性とバイアス • 教師あり学習を行ってモデルから情報を得る ◦ Aという要素が重要! ◦ といった情報を得ることができる(と考えられている) • 学習データにバイアスがあるとどうなる? ◦
結果がコロコロ変わることが示唆されている ▪ バイアスがあるデータではAが重要 ▪ バイアスのないデータではBが重要 ◦ 参考)Robust and Stable Black Box Explanations @ ICML20 80 -
テック企業では常識 84 +1000 test /day +200 test /day 2013年に行われていたABテストの数
→1000 test/day in 2017 出典)A/B Testing at Scale Tutorial given at SIGIR 2017 and KDD 2017) -
こういう意見もある 88 えーでもあれですよね 機械学習の予測をビジネスで使う場合、 予測性能が向上すれ ばビジネス上の意思決定も改善されますよね? だからCross-Validationでの評価を改善してゆけばビジネスで
も改善が起きるはずですよね? だからわざわざPotential Outcome Frameworkとか持ち込まな くても良いのではないでしょうか? -
23回ABテストした結果・・・ • 横軸:機械学習のオフラインでの予測能力の改善 • 縦軸:ビジネスKPIの改善 • オフラインの予測能力とビジネスKPIに関係無し
Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '19). 89 残念なお知らせ@KDD2019 -
なぜそうなるのか? • 意思決定の質との繋がりが明確か? ◦ 計測可能な予測性能の改善と意思決定の繋がりが見えているか? ◦ 多くの場合繋がりが曖昧だったり弱かったりする • 補足) ◦
予測がビジネスKPIに明確に関連する場合は問題なし 90 -
利用可能な技術もある • 因果推論を使った意思決定 ◦ Aの効果がよかったから、Aを使おうという話。 • 機械学習で因果効果を予測する ◦ いろいろ工夫して効果を予測する ◦
Uplift Modeling / ITE Prediction • 強化学習で報酬(累積因果効果)を最大化する ◦ Bandit Algorithm →こちらは日本語でも情報がちらほらある 91 -
効果検証から得られる観点 94 観測されるデータには バイアスが存在する 世界線Bの鍋の味 世界線Aの鍋の味 施策の効果
効果は2つの世界線の差にある →様々なケースでこれらの観点が重要になる -
何が必要なのか? • 技術的な話 ◦ バイアス対処にまつわる技術 ◦ 効果を改善する技術 • ソフトな話 ◦
自分のデータにバイアスがあるのかを発見できるか? ◦ 重要な効果が何かを先に定義できるか? →バイアスの検知や効果の定義がなければ技術は無意味 95 -
効果を出すために重要なスキル • バイアスの存在に気がつけるか? ◦ 体系はない(経済学が近いかも?) ◦ バイアスのあるデータだけみてもバイアスはわからない ◦ なので、実はドメイン知識が非常に重要 •
推定したい効果を明確に定義できるか? ◦ 因果推論では、Z = 0 or 1の効果しかわからない。 ◦ 何がビジネスに重要なのかをよく議論する必要がある ◦ 「どの要因が一番効いているのか?」はかなり難しい 96 -
スキルチェックリストへ 勝手に提案 現状:バイアスに関連する内容ほぼ無し 提案: • バイアスに気が付けるスキル入れてみませんか? •
効果を定義できることは重要ではありませんか? 97