効果検証入門から見直す「データサイエンス」

効果検証入門から見直す  「データサイエンス」  @データサイエンス協会セミナー  2020.08.28  安井翔太 

2 自己紹介  名前：安井翔太（32）職業：Economic Research Scientist Data Science Center 副所長
経歴： 2011年立教大学経済学部卒業 2013年 Norwegian School of Economics MSc in Economics 2013年 Cyberagent 入社（総合職, 微妙な分析の量産） 2015年アドテク部門へ異動（専門職, MLの応用） 2017年 AILabへ異動（研究職, ML + CI回りの応用） @housecat442 

書籍紹介  • 効果検証に関する本を書きました  • 因果推論/計量経済学を使った効果の検証  • 今日の前半部分の内容 

なぜ因果推論が大事なのか？  4 • よく見るデータサイエンスの問題  ◦ 効果の検証はかなりいい加減なことができる  ◦ データのバイアスは無視されがち  →この2つに対してリスクがよく理解されていない   
• 因果推論はリスクの理解と対応策を教えてくれる  ◦ 「効果」について正面から取り組む唯一（？）の分野  ◦ データのバイアスの対処方法がわかる 

今日の内容  1. 効果検証の入門    2. 効果検証の考え方に基づく  データサイエンスに対する2つの疑問    3. 効果の出せるデータサイエンス 
5

1.効果検証の入門  効果検証の入門の入門 

効果検証（因果推論）の大まかなイメージ  1.効果を定義する  2.統計学を使って  データから効果を推定する 

効果の定義  何かしらの施策   世界線Aの鍋   世界線Bの鍋   9 鍋  •
鍋Aと鍋Bの味の差（効果）を知りたい  塩を加えるか否か...  

Donald Rubin@Harvard   ポテンシャル　アウトカムフレームワーク  Potential Outcome Framework  世界線Bの鍋の味
  世界線Aの鍋の味   施策の効果  

効果検証（因果推論）の大まかなイメージ  1.効果を定義する  2.統計学を使って  データから効果を推定する  世界線Bの鍋の味   世界線Aの鍋の味   施策の効果  

統計学とは？  手元にあるデータから、母集団のことを考えるための学問    • 例: 味噌汁  ◦ 味噌汁の味見をするとき、全部飲むのではなく小皿ですくって確認する    •
ざっくりした用語のまとめ  ◦ パラメータ(期待値): 鍋全体の塩辛さ  ◦ 推定量(平均): 小皿の塩辛さ  ◦ 推定値: 推定量の実際の値のこと。（データで得られる値）   12

効果検証（因果推論）の大まかなイメージ  1.効果を定義する  2.統計学を使って  データから効果を推定する  世界線Bの鍋の味   世界線Aの鍋の味   施策の効果  
母集団  手元のデータ  サンプリング 

1.効果検証の入門  セレクションバイアスについて 

クーポンの効果を考える  クーポンを付与（介入）  世界線Aのユーザー i さん   ユーザー i さん 
15 世界線Bのユーザー i さん   購入：2000円  購入：3000円  ECサイトであるユーザーにクーポンを配布  

クーポンの効果を考える  16 クーポンを付与（介入）  世界線Bのユーザー   世界線Aのユーザー   購入：3000円  購入：2000円 
効果：1000円 

理想的なデータ  17 • クーポンをユーザーに割り振る  • クーポンがある場合とない場合の売上がわかるとする  • 差分を取ればクーポンの効果が1000円であることがわかる 

因果推論の根本問題  クーポンを付与（介入）  世界線Aのユーザー   ユーザー  同時に観測が  できない  18 世界線Bのユーザー
  購入：2000円  購入：3000円 

実際に得られるデータ  19 • クーポンを渡せば、クーポンのありの売り上げが観測される。  • クーポンを渡さなければ、クーポンなしの売り上げが観測される。  • 直接差分を計算することはもう出来ない。 

適当な集計の問題  20 クーポンが配布されなかった   ユーザーの平均売り上げ   クーポンが配布された   ユーザーの平均売り上げ  
１０００円  ３０００円  効果は  ２０００円？ 

セレクションバイアスの問題  21 クーポンがなくても  発生する売上  クーポンの効果  １０００円  単純な比較で  効果と思い込む部分   ２０００円 
セレクション   バイアス 

発生源が存在する  22 例えば購買予測を行って、予測値が高いユーザーにクーポンを配布する場合・・・   予測購買確率：80%  予測購買確率：70%  何かしらの予測モデル  予測購買確率：60%  予測購買確率：40%  担当者 
Z = 0  Z = 1 

発生源が存在する  23 例えば購買予測を行って、予測値が高いユーザーにクーポンを配布する場合・・・   予測購買確率：80%  予測購買確率：70%  何かしらの予測モデル  予測購買確率：60%  予測購買確率：40%  担当者 
クーポンがなくても売り上げが高い　　　が高い　　　が低い Z = 1  Z = 0 

バイアスの発生にはパターンがある  • 介入Zは何かしらの意思決定を元に割り振られる  ◦ 誰が、何のために、何を参照して割り振っているか？    • クーポンの場合・・・  ◦ 担当者がクーポン施策の成功を目指して割り振る。 
◦ 何をもって成功と考えるか？  ▪ 単純な集計の結果で売り上げが高くなることを成功とすると・・・   24

一応式で理解しておく  25 データ上で平均の差を効果と考える   クーポンが配布されなかった  ユーザーの平均売り上げ   クーポンが配布された  ユーザーの平均売り上げ  

一応式で理解しておく  26 データ上で平均の差を効果と考える   期待値  期待値  これらの平均は母集団上では   条件付き期待値の推定になっている  

一応式で理解しておく  27 期待値  期待値  セレクションバイアス   データ上で平均の差を効果と考える   本当に推定したい効果  

1.効果検証の入門  A/Bテストのご利益 

Golden Standard Research Design: A/Bテスト（RCT）  29

A/Bテストの流れ  • 介入(Z)を定義する  • 介入の有無をランダムに決める   • 介入有無のグループ間を比較する   30
出典）A/B Testing at Scale Tutorial given at SIGIR 2017 and KDD 2017)

A/Bテストとセレクションバイアス  31 クーポンがなくても  発生する売上  クーポンの効果  １０００円  ランダムに  クーポンを割り振り  • クーポンをランダムに選んだユーザー
に配布  • その結果Y0がZ=1とZ=0のグループにおいて同等になった  

一応式で理解しておく  32 期待値  期待値  セレクションバイアス = 0   データ上で平均の差を効果と考える  
本当に推定したい効果  

1.効果検証の入門  実験できないとき：回帰分析 

回帰分析とは・・・？  34 回帰分析ってあれですよね・・・  • 誤差を最小にするように線を学習するやつですよね  

回帰分析とは・・・？  35 回帰分析ってあれですよね・・・  • 誤差を最小にするように線を学習するやつですよね   • データの分布に合わせてロジスティック回帰とか考えないといけないですよね 

回帰分析とは・・・？  36 回帰分析ってあれですよね・・・  • 誤差を最小にするように線を学習するやつですよね   • データの分布に合わせてロジスティック回帰とか考えないといけないですよね  •
VIFとかみて多重共線性も確認しないとですね  

VIFとかみて多重共線性も確認しないとですね   • 予測の性能を最適化するためにstep wise AICでモデル選択したり 

VIFとかみて多重共線性も確認しないとですね   • 予測の性能を最適化するためにstep wise AICでモデル選択したり  • Cross-Validationで汎化誤差を考慮してモデル選択したり  

VIFとかみて多重共線性も確認しないとですね   • 予測の性能を最適化するためにstep wise AICでモデル選択したり  • Cross-Validationで汎化誤差を考慮してモデル選択したり   • あとR^2もありましたね・・・ 

VIFとかみて多重共線性も確認しないとですね   • 予測の性能を最適化するためにstep wise AICでモデル選択したり  • Cross-Validationで汎化誤差を考慮してモデル選択したり   • あとR^2もありましたね・・・  • え、分散不均一性・・・？ 

VIFとかみて多重共線性も確認しないとですね   • 予測の性能を最適化するためにstep wise AICでモデル選択したり  • Cross-Validationで汎化誤差を考慮してモデル選択したり   • あとR^2もありましたね・・・  • え、分散不均一性・・・？  • い、因果効果・・・ 

元ネタ： Empirical Strategies Short Course by Joshua Angrist

複雑怪奇な回帰  43 いろいろな分野の常識が持ち込まれて   キメラ化した回帰分析   因果効果説明予測

複雑怪奇な回帰  44 いろいろな分野の常識が持ち込まれて   キメラ化した回帰分析   効果検証だけ考えた   シンプルな回帰分析  
因果効果説明予測因果効果

効果検証での回帰分析の考え方  バイアスのある母集団サンプル 45 母集団推定したい真の効果  

効果検証での回帰分析の考え方  バイアスのある母集団サンプル 46 母集団セレクションバイアスの原因と思われる変数   ・過去の購買量  ・年齢や性別などのデモグラ
  ・etc...  推定したい真の効果   Zの効果を表すパラメーター  

効果検証での回帰分析の考え方  バイアスのある母集団サンプル 47 母集団セレクションバイアスの原因になる変数をモデルに入れると近づく   セレクションバイアスの原因と思われる変数
  ・過去の購買量  ・年齢や性別などのデモグラ   ・etc...  推定したい真の効果   Zの効果を表すパラメーター  

効果検証での回帰分析の考え方  バイアスのある母集団サンプル 48 母集団セレクションバイアスの原因になる変数をモデルに入れると近づく   推定したい真の効果
  Zの効果を表すパラメーター   この母集団も観測できない  =この回帰分析は実行不可能  母集団で回帰分析！ 

効果検証での回帰分析の考え方  バイアスのある母集団サンプル 49 母集団セレクションバイアスの原因になる変数をモデルに入れると近づく   推定したい真の効果
  • 母集団におけるγの推定値   • 真の効果の推定値手元のデータで回帰分析！  母集団で回帰分析！   推定！ 

きになること・・・  • xってどう選べば良いの？  • 入れちゃダメな変数は？  • 多重共線性考えなくて良いのか？  • 予測性能みなくて良いのか？  •
線形回帰で良いのか？  →効果検証入門をぜひ 

1.効果検証の入門  実験できないとき：傾向スコア 

傾向スコアとは？  • 介入が割り振られる確率のこと  ◦ ロジスティック回帰などで推定が可能  • これを使ってバイアスを小さくする  • 主な使い方  ◦
マッチング  ◦ IPW(IPS or Holvitz-Thompson Estimator)  52

クーポンを配ってみる  53 ユーザーグループA   ユーザーグループB   ユーザーグループC   売り上げ：高  クーポン確率：20% 
売り上げ：中  クーポン確率：40%  売り上げ：低  クーポン確率：50%  • クーポンの効果は一律１０００円   • 　　が高いユーザーにはクーポンが配られないという設定   • セレクションバイアスは負の値になる  

集計で効果を推定する  54 ユーザーグループA   ユーザーグループB   ユーザーグループC   平均売上＝2556  平均売上＝3359 
→推定された効果は約800円   売り上げ：高  クーポン確率：20%  売り上げ：中  クーポン確率：40%  売り上げ：低  クーポン確率：50% 

IPWのイメージ  55 ユーザーグループA   ユーザーグループB   ユーザーグループC   このデータが全て観測できた  
場合の平均が知りたい   このデータが全て観測できた   場合の平均が知りたい   売り上げ：高  クーポン確率：20%  売り上げ：中  クーポン確率：40%  売り上げ：低  クーポン確率：50% 

IPWのイメージ  56 ユーザーグループA   ユーザーグループB   ユーザーグループC   このデータが全て観測できた  
場合の平均が知りたい   このデータが全て観測できた   場合の平均が知りたい   この差分が効果の推定値になる   売り上げ：高  クーポン確率：20%  売り上げ：中  クーポン確率：40%  売り上げ：低  クーポン確率：50% 

IPWのイメージ  57 ユーザーグループA   ユーザーグループB   ユーザーグループC   ５人中１人しか観測されない  
→このユーザーを５人分カウントしよう   x5  売り上げ：高  クーポン確率：20%  売り上げ：中  クーポン確率：40%  売り上げ：低  クーポン確率：50% 

IPWのイメージ  58 ユーザーグループA   ユーザーグループB   ユーザーグループC   ５人中２人しか観測されない  
→２人を2.5人分ずつカウントしよう   x5  x2.5  x2.5  売り上げ：高  クーポン確率：20%  売り上げ：中  クーポン確率：40%  売り上げ：低  クーポン確率：50% 

IPWのイメージ  59 ユーザーグループA   ユーザーグループB   ユーザーグループC   4人中２人しか観測されない  
→２人を2人分ずつカウントしよう   x2.5  x2.5  x5  x2  x2  売り上げ：高  クーポン確率：20%  売り上げ：中  クーポン確率：40%  売り上げ：低  クーポン確率：50% 

IPWのイメージ  60 ユーザーグループA   ユーザーグループB   ユーザーグループC   {(3824x5) +
(3726x2.5) + (2506 x 2.5) + (3015x2) + (2727x2) } / 14 = 3477  x2.5  x2.5  x5  x2  x2  売り上げ：高  クーポン確率：20%  売り上げ：中  クーポン確率：40%  売り上げ：低  クーポン確率：50% 

IPWのイメージ  61 ユーザーグループA   ユーザーグループB   ユーザーグループC   {(2047 +
2953 + 2833 + 2866)x1.25 + (2482 + 2443 + 2102)x1.66 + (2234 + 2044)x2 } / 14 =2492  x1.25  x2  x1.25  x1.25  x1.25  x1.66  x1.66  x1.66  x2  売り上げ：高  クーポン確率：20%  売り上げ：中  クーポン確率：40%  売り上げ：低  クーポン確率：50% 

IPWのイメージ  62 ユーザーグループA   ユーザーグループB   ユーザーグループC   推定された売上  ＝2492 
推定された売上  ＝3477  →推定された効果は約985円   売り上げ：高  クーポン確率：20%  売り上げ：中  クーポン確率：40%  売り上げ：低  クーポン確率：50% 

（余談）マッチングのイメージ  63 →推定された効果は約940円       3824 - 2833 =
991  3726 - 2482 = 1283  3506 - 2443 = 1063  3015 - 2334 = 681  2727 - 2044 = 683  傾向スコアの近いユーザーをペアにして、差分を効果として計算する。  

広告テンプレート選択@CyberAgent  64 slot _1 slot _2 slot _3 slot_1 sl
ot _2 ユーザー  セグメント{A,B,C}  予測モデル  意思決定  ルール  slot_1 sl ot _2 広告表示  クリック  広告画像の  選択肢  セグメントにより選ばれやすい画像が異なる  • セグメントA  ◦ 80%の確率でZ=1  ◦ 20%の確率でZ=0  • セグメントB  ◦ 60%の確率でZ=1  ◦ 40%の確率でZ=0  • セグメントC  ◦ 40%の確率でZ=1  ◦ 60%の確率でZ=0 

考えるお題  広告画像の選択肢を評価・比較したい  →無駄なものは削除したい    65 slot_1 slot_2 slot_3 slot_1 slot
_2 template_id: 26 template_id: 75

とりあえず集計した結果  • template_id毎にCTRを計算する • template_id:26のCTRが高そう →Biasを含んだ結果営業や事業責任者の方が見るデータ 66 26以外いらないね！！

• バイアスがある程度減っているはず。 • 26がよかったというのは幻想だった。 • CTRはどれも大差ないという結果。傾向スコアを使ったIPW  67

2.効果検証から出る疑問  教師ありの機械学習を例に考える 

効果検証から得られる観点  69 観測されるデータには  バイアスが存在する  世界線Bの鍋の味   世界線Aの鍋の味   施策の効果  
効果は2つの世界線の差にある  →これらの観点は他のDS技術でどう捉えられているのか？ 

2.効果検証から出る2つの疑問  教師あり学習を例に考える  - バイアスはどう考えられているのか？   

学習データがある母集団から手に入る  71 母集団サンプル (学習データ)

誤差を定義する  72 母集団サンプル (学習データ) あるモデルfの誤差を定義 

モデルを学習する（誤差の最小化）  73 母集団サンプル (学習データ) あるモデルfの誤差  誤差を最小にするように   モデルを学習する 

データ上の誤差は推定値  74 母集団サンプル (学習データ) あるモデルfの誤差の推定値  あるモデルfの真の誤差（母集団におけるの誤差）   実は誤差の推定値を最小にするようにモデルを学習している
 

同じ母集団からテストデータが得られる  75 母集団サンプル (学習データ) サンプルテストデータ誤差の推定値を最小化して得られるモデル   同じ母集団から得られたデータなので
  誤差は小さくなるはず  

母集団学習データにバイアスがある場合  76 バイアスのある母集団サンプル (学習データ) サンプルテストデータバイアスのある母集団の誤差の推定値
  を最小化して得られたモデル   別の母集団への誤差を最小にしているので   誤差は思うように小さくならない  

おさらい  • 学習データにはバイアスがあるかも  ◦ 調査に協力してくれたユーザーのデータしかない  ◦ でも予測は全部のユーザーにしたい    • 何も考慮しなければどうなるのか？ 
◦ バイアスのある母集団への誤差を最小化する  ◦ これはバイアスの無い母集団への誤差最小化とは一致しない  77

実際どう捉えられているか？  • 技術的には対応策はいろいろ提案されている  ◦ Covariate Shift  ◦ Domain Adaptation  ◦
etc...  • 技術に関して手に入りやすい情報があまりない  ◦ 日本語の教科書とかにはほぼ情報がない  ◦ 特にどんな時に使えば良いのかが議論されてない  78

母集団他の分野でも起きること  79 バイアスのある母集団サンプル (学習データ) 得られるデータにはバイアスがある   単純に損失の最小化をしても本当に行いたい
予測や知識は得られない   バイアスの無い母集団での損失が最小化できると   予測ができたり何かがわかったりする  

例：モデルの解釈性とバイアス  • 教師あり学習を行ってモデルから情報を得る  ◦ Aという要素が重要！  ◦ といった情報を得ることができる（と考えられている）  • 学習データにバイアスがあるとどうなる？  ◦
結果がコロコロ変わることが示唆されている  ▪ バイアスがあるデータではAが重要   ▪ バイアスのないデータではBが重要   ◦ 参考）Robust and Stable Black Box Explanations @ ICML20  80

2.効果検証から出る2つの疑問  教師あり学習を例に考える  - 効果について考える 

よくあるデータサイエンスプロジェクト  82 予測モデルの作成  知識や示唆の発見  ビジネスへの応用  適当な効果検証  データの取得  データ  サイエンティスト 

データサイエンスの効果検証が行われるとする  83 予測モデルの作成  知識や示唆の発見  ビジネスへの応用  効果検証  ・ABテスト  ・因果推論  データの取得  データ 
サイエンティスト 

テック企業では常識  84 +1000 test /day +200 test /day 2013年に行われていたABテストの数  
→1000 test/day in 2017   出典）A/B Testing at Scale Tutorial given at SIGIR 2017 and KDD 2017)

テック企業以外でも・・・  85

86 最後に因果効果で評価されるなら、  因果効果を直接最大化すれば良いのでは？ 

例えば・・・  • 因果推論を使った意思決定してみよう  • 個人の因果効果を機械学習で予測してみよう  などが考えられる  87

こういう意見もある  88 えーでもあれですよね    機械学習の予測をビジネスで使う場合、予測性能が向上すればビジネス上の意思決定も改善されますよね？     だからCross-Validationでの評価を改善してゆけばビジネスで
も改善が起きるはずですよね？     だからわざわざPotential Outcome Frameworkとか持ち込まなくても良いのではないでしょうか？  

23回ABテストした結果・・・   • 横軸：機械学習のオフラインでの予測能力の改善   • 縦軸：ビジネスKPIの改善   • オフラインの予測能力とビジネスKPIに関係無し
  Lucas Bernardi, Themistoklis Mavridis, and Pablo Estevez. 2019. 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '19). 89 残念なお知らせ@KDD2019 

なぜそうなるのか？  • 意思決定の質との繋がりが明確か？  ◦ 計測可能な予測性能の改善と意思決定の繋がりが見えているか？  ◦ 多くの場合繋がりが曖昧だったり弱かったりする  • 補足）  ◦
予測がビジネスKPIに明確に関連する場合は問題なし  90

利用可能な技術もある  • 因果推論を使った意思決定  ◦ Aの効果がよかったから、Aを使おうという話。  • 機械学習で因果効果を予測する  ◦ いろいろ工夫して効果を予測する  ◦
Uplift Modeling / ITE Prediction  • 強化学習で報酬（累積因果効果）を最大化する  ◦ Bandit Algorithm  →こちらは日本語でも情報がちらほらある  91

DSをビジネスで使ってみることと、  成果につなげることの間には大きな谷がある。  92 効果検証  応用・実装  成果  データサイエンティスト 

3.効果の出せる  データサイエンティスト 

効果検証から得られる観点  94 観測されるデータには  バイアスが存在する  世界線Bの鍋の味   世界線Aの鍋の味   施策の効果  
効果は2つの世界線の差にある  →様々なケースでこれらの観点が重要になる 

何が必要なのか？  • 技術的な話  ◦ バイアス対処にまつわる技術  ◦ 効果を改善する技術  • ソフトな話  ◦
自分のデータにバイアスがあるのかを発見できるか？  ◦ 重要な効果が何かを先に定義できるか？    →バイアスの検知や効果の定義がなければ技術は無意味  95

効果を出すために重要なスキル  • バイアスの存在に気がつけるか？  ◦ 体系はない（経済学が近いかも？）  ◦ バイアスのあるデータだけみてもバイアスはわからない  ◦ なので、実はドメイン知識が非常に重要  •
推定したい効果を明確に定義できるか？  ◦ 因果推論では、Z = 0 or 1の効果しかわからない。  ◦ 何がビジネスに重要なのかをよく議論する必要がある  ◦ 「どの要因が一番効いているのか？」はかなり難しい  96

スキルチェックリストへ  勝手に提案  現状：バイアスに関連する内容ほぼ無し    提案：    • バイアスに気が付けるスキル入れてみませんか？    •
効果を定義できることは重要ではありませんか？  97

98 Enjoy! 

効果検証入門から見直す 「データサイエンス」

効果検証入門から見直す 「データサイエンス」

More Decks by Shota Yasui

Other Decks in Science

Featured

Transcript

効果検証入門から見直す「データサイエンス」

効果検証入門から見直す「データサイエンス」