Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
事業の役に立つ 「因果推論」
Search
Shota Yasui
November 09, 2020
Science
4
1.6k
事業の役に立つ 「因果推論」
Shota Yasui
November 09, 2020
Tweet
Share
More Decks by Shota Yasui
See All by Shota Yasui
効果検証入門から見直す 「データサイエンス」
housecat442
38
15k
Tech企業におけるA/B test
housecat442
4
790
機械学習を用いた自動的な意思決定と反実仮想
housecat442
4
3.8k
バンディットと因果推論
housecat442
14
7.6k
Other Decks in Science
See All in Science
位相的データ解析とその応用例
brainpadpr
1
340
ICRA2024 速報
rpc
3
4.8k
How were Quaternion discovered
kinakomoti321
2
910
私たちのプロダクトにとってのよいテスト/good test for our products
camel_404
0
110
Lyme Disease
uni_of_nomi
0
120
Causal discovery based on non-Gaussianity and nonlinearity
sshimizu2006
0
130
プロダクト開発を通して学んだナレッジマネジメントの哲学
sonod
0
130
ABEMAの効果検証事例〜効果の異質性を考える〜
s1ok69oo
4
1.9k
【健康&筋肉と生産性向上の関連性】 【Google Cloudを企業で運用する際の知識】 をお届け
yasumuusan
0
270
WeMeet Group - 採用資料
wemeet
0
1.9k
The thin line between reconstruction, classification, and hallucination in brain decoding
ykamit
1
660
The Incredible Machine: Developer Productivity and the Impact of AI
tomzimmermann
0
330
Featured
See All Featured
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
38
9.1k
How to Think Like a Performance Engineer
csswizardry
15
910
Building Your Own Lightsaber
phodgson
101
5.9k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
22
580
In The Pink: A Labor of Love
frogandcode
139
22k
GraphQLとの向き合い方2022年版
quramy
43
13k
Typedesign – Prime Four
hannesfritz
38
2.3k
5 minutes of I Can Smell Your CMS
philhawksworth
201
19k
Navigating Team Friction
lara
183
13k
Designing Experiences People Love
moore
138
23k
Into the Great Unknown - MozCon
thekraken
28
1.4k
Debugging Ruby Performance
tmm1
72
12k
Transcript
事業の役に立つ 「因果推論」 @DS協会シンポジウム 2020.11.9 安井翔太
2 自己紹介 名前:安井翔太(33) 職業:Economic Research Scientist Data Science Center 副所長
経歴: 2011年 立教大学 経済学部卒業 2013年 Norwegian School of Economics MSc in Economics 2013年 Cyberagent 入社(総合職, 微妙な分析の量産) 2015年 アドテク部門へ異動(専門職, MLの応用) 2017年 AILabへ異動(研究職, ML + CI回りの応用) @housecat442
書籍紹介 • 効果検証に関する本を書きました • 因果推論/計量経済学を使った効果の検証 • 今日の前半部分の内容
おことわり 今日の内容は・・・ • ✖「因果推論」が事業に役立つという宣伝 • ◦「因果推論」だけで頑張ると無事死亡という話 4
今日の内容 1. 因果推論の大体の話 2. 「事業に役立つ」因果推論 5
1.因果推論の大体の話 効果検証の入門の入門
効果検証(因果推論)の大まかなイメージ 1.効果を定義する 2.統計学を使って データから効果を推定する
効果検証(因果推論)の大まかなイメージ 1.効果を定義する 2.統計学を使って データから効果を推定する
効果の定義 何かしらの施策 世界線Aの鍋 世界線Bの鍋 9 鍋 •
鍋Aと鍋Bの味の差(効果)を知りたい 塩を加えるか否か...
Donald Rubin@Harvard ポテンシャル アウトカム フレームワーク Potential Outcome Framework 世界線Bの鍋の味
世界線Aの鍋の味 施策の効果
効果検証(因果推論)の大まかなイメージ 1.効果を定義する 2.統計学を使って データから効果を推定する 世界線Bの鍋の味 世界線Aの鍋の味 施策の効果
統計学とは? 手元にあるデータから、母集団のことを考えるための学問 • 例: 味噌汁 ◦ 味噌汁の味見をするとき、全部飲むのではなく小皿ですくって確認する •
ざっくりした用語のまとめ ◦ パラメータ(期待値): 鍋全体の塩辛さ ◦ 推定量(平均): 小皿の塩辛さ ◦ 推定値: 推定量の実際の値のこと。(データで得られる値) 12
効果検証(因果推論)の大まかなイメージ 1.効果を定義する 2.統計学を使って データから効果を推定する 世界線Bの鍋の味 世界線Aの鍋の味 施策の効果
母集団 手元のデータ サンプリング
1.因果推論の大体の話 簡単な例
クーポンの効果を考える クーポンを付与(介 入) 世界線Aのユーザー i さん ユーザー i さん
15 世界線Bのユーザー i さん 購入:2000円 購入:3000円 ECサイトであるユーザーにクーポンを配布
クーポンの効果を考える 16 クーポンを付与(介 入) 世界線Bのユーザー 世界線Aのユーザー 購入:3000円 購入:2000円
効果:1000円
理想的なデータ 17 • クーポンをユーザーに割り振る • クーポンがある場合とない場合の売上がわかるとする • 差分を取ればクーポンの効果が1000円であることがわかる
因果推論の根本問題 クーポンを付与(介 入) 世界線Aのユーザー ユーザー 同時に観測が できない 18 世界線Bのユーザー
購入:2000円 購入:3000円
実際に得られるデータ 19 • クーポンを渡せば、クーポンのありの売り上げが観測される。 • クーポンを渡さなければ、クーポンなしの売り上げが観測される。 • 直接差分を計算することはもう出来ない。
適当な集計の問題 20 クーポンが配布されなかった ユーザーの平均売り上げ クーポンが配布された ユーザーの平均売り上げ
1000円 3000円 効果は 2000円?
セレクションバイアスの問題 21 クーポンがなくても 発生する売上 クーポンの効果 1000円 単純な比較で 効果と思い込む部分 2000円
セレクション バイアス
バイアスの発生にはパターンがある • 介入Zは何かしらの意思決定を元に割り振られる ◦ 誰が、何のために、何を参照して割り振っているか? • クーポンの場合・・・ ◦ 担当者がクーポン施策の成功を目指して割り振る。
◦ 何をもって成功と考えるか? ▪ 単純な集計の結果で売り上げが高くなることを成功とすると・・・ 22
(↑)手法に関してはこちらを参照 因果推論でやること • ゴール:効果を推定すること • やること ◦ バイアスの原因を考える(因果グラフ) ◦
原因に該当しそうな変数を入手する ◦ 変数を利用して効果を推定する • うまく行けば・・・ ◦ 真の効果が推定できる ◦ 実際うまく行っているかは結構わからない
2.事業の役に立つ「因果推論」
因果推論を学んだ直後の発想 • 因果推論によってより正確な情報がわかりますね 25
因果推論を学んだ直後の発想 • 因果推論によってより正確な情報がわかりますね • これで重要な意思決定が行えたら最高ですね 26
因果推論を学んだ直後の発想 • 因果推論によってより正確な情報がわかりますね • これで重要な意思決定が行えたら最高ですね • 「これ、効果ないのでやめましょう」ドヤァ 27
因果推論を学んだ直後の発想 • 因果推論によってより正確な情報がわかりますね • これで重要な意思決定が行えたら最高ですね • 「これ、効果ないのでやめましょう」ドヤァ • 「エビデンス重要ですよね」ドヤァ
28
そして起きること • 因果推論によってより正確な情報がわかりますね • これで重要な意思決定が行えたら最高ですね • 「これ、効果ないのでやめましょう」ドヤァ • 「エビデンス重要ですよね」ドヤァ
29 おーなるほど!面白いね! でもこれは必要だからやろっかw 意思決定レイヤー ※意思決定する人に対して悪意があるわけではないですw
経済学者も経験済み 30 Steven Levvit @Chicago • ヤバい経済学の著者で知られているSteven Levvit •
ある小売企業の役員会にアドバイザーとして参画 今から紹介する話の出典→
ピッツバーグの小話 31 Steven Levvit @Chicago • チラシの広告は効果があるはず 役員との議論
ピッツバーグの小話 32 Steven Levvit @Chicago • チラシの広告は効果があるはず 本当に効果があるのか実験して みてはどうか?
役員との議論
ピッツバーグの小話 33 Steven Levvit @Chicago • チラシの広告は効果があるはず • 広告半分止めるとか、CEOに怒ら
れるから無理無理 本当に効果があるのか実験して みてはどうか? 役員との議論
ピッツバーグの小話 34 Steven Levvit @Chicago • チラシの広告は効果があるはず • 広告半分止めるとか、CEOに怒ら
れるから無理無理 本当に効果があるのか実験して みてはどうか? むっちゃ怒られてたピッツバーグの少年い たよねw →バイトの少年の手違いでピッツバーグで は広告が出なかった時期があった 役員との議論
ピッツバーグの小話 35 Steven Levvit @Chicago • チラシの広告は効果があるはず • 広告半分止めるとか、CEOに怒ら
れるから無理無理 少年の手違いを分析 →チラシの効果がなさそう むっちゃ怒られてたピッツバーグの少年い たよねw →バイトの少年の手違いでピッツバーグで は広告が出なかった時期があった (自然実験) 役員との議論
ピッツバーグの小話 36 Steven Levvit @Chicago • チラシの広告は効果があるはず • 広告半分止めるとか、CEOに怒ら
れるから無理無理 • (New!)広告半分止めるとか、CEO に怒られるから無理無理 少年の手違いを分析 →チラシの効果がなさそう →・・・ むっちゃ怒られてたピッツバーグの少年い たよねw →バイトの少年の手違いでピッツバーグで は広告が出なかった時期があった (自然実験) 役員との議論
事業の役に立たない因果推論 • 結局ビジネス的には何も変わっていない • なぜこうなってしまうのか? • どうすれば意思決定を変えられるのか? 37
分析者が考えがちなこと 38 正しい情報を出すことこそが自分の役割
分析者が考えがちなこと 39 広告半分止めるとか、 CEOに怒られるから 無理無理
多分必要だったもの 40 意思決定方法の文化の改革・上手く行かなかった時の覚悟・ 正しい情報・etc...
多分必要だったもの 41 意思決定方法の文化の改革・上手く行かなかった時の覚悟・ 正しい情報・etc... →分析技術のサプライチェーン
分析技術のサプライチェーン 42 データ 分析技術 分析 レポート 意思決定 実施 ビジネスへ の影響
分析技術のサプライチェーン 43 データ 分析技術 分析 レポート 意思決定 実施 ビジネスへ の影響
意思決定レイヤー
何ができるか? • 分析のサプライチェーンを社内に構築する ◦ 実験とデータを尊重する文化の構築 • 別のタスクに取り組む ◦ 分析の結果を様々な場所で試して経験を積む 44
文化を構築しつつある企業 45 +1000 test /day +200 test /day 2013年に行われていたABテストの数
→1000 test/day in 2017 出典)A/B Testing at Scale Tutorial given at SIGIR 2017 and KDD 2017)
テック企業以外でも・・・ 46
今日からできそうな事 • 偉くなる:自分が意思決定する身分になる ◦ プロダクトマネージャーになる(デザイナーとかも選択肢?) ◦ 企業内で重鎮化する(例:Googleの経済学者 Hal Varian Eric
SchmitはHal Varianの影響で部下のレポートに傾向スコアを使ったか確認してたらしい(ソース; 30:45くらい) • 使い所を選ぶ:分析が意思決定に直結する場所を探す ◦ 例えば:意思決定が自動化されている場所 ▪ 機械学習を使った意思決定:予測が◎◎ならXXする ▪ ルールを使った意思決定:◎◎の条件に該当するならXXする ▪ 自動化される場所は今後も増える・・・はず 47
分析技術のサプライチェーン 48 データ 分析技術 分析 レポート 意思決定 実施 ビジネスへ の影響
自動的な意思決定
自動化を前提とした因果推論の応用 1. XXする効果を検証する 2. 機械学習の効果を検証する 3. 効果の出せる機械学習を設計する 49
①XXする効果を検証する • 自動的な意思決定の例 ◦ 予測値が50%以上なら、値段を100円上げる。 ◦ 去年の購入が3000円以上なら、値段を100円上げる。 • この時の介入は値段の変更 ◦
別に200円あげても良いし、値下げしても良い。 50
XXする効果を検証する 51 • Uberの論文から拝借 ◦ Steven Levvitも著者の1人 •
機械学習と価格変更 ◦ 需要予測が一定以上になると価格を上げる ◦ さらに需要予測が上がるとさらに上がる • 価格の変化点ではほぼ実験になっている ◦ RDDを使って分析 ◦ 価格変更の効果を推定した →需要曲線の推定(観測)
②機械学習の効果を検証する 52 x candidates A = {a,b,c,d} b Y_b
Predict + decision dataset X, A, Y x candidates A = {a,b,c,d} b Y_b Predict + decision モデルの学習と更新 1日この仕組みを回す 更新したモデルで回す データの蓄積 new system c Y_b ex)線形回帰→DNN
②機械学習の効果を検証する • 予測モデルの影響を検証する ◦ 売り上げや利益の比較を行う ◦ A/Bテストが使えなければ因果推論(よくある) • 意思決定の影響を事前に検証する ◦
いわゆるOff-Policy Evaluation ◦ 詳細は・・・ ▪ 資料1@CFML勉強会 by安井 ▪ 資料2@CFML勉強会 by斎藤さん@半熟仮想 53
③効果の出せる機械学習を設計する • 機械学習の評価は売上や利益への因果効果 • 目的関数を再設計する ◦ 予測性能を最大化するのは遠回り ◦ 因果効果を直接最大化する ◦
いわゆるOff-Policy Learning 54
※①に関しては効果検証入門にいくらか解説があります。 ②③の詳細は・・・ CFML勉強会へご参加を! 各種応用や理論が紹介されています Coming Soon... 現在2冊目を執筆中 with
斎藤優太さん(半熟仮想/東工大)
まとめ • 因果推論だけを武器として持ち込むと爆死 • 正しい情報が意思決定を変える環境を 作るか? 選ぶか? ◦ 作るのは長期戦、環境によっては無理ゲー。 ◦
選び先としてAI/機械学習は有力。 • AIのある環境での因果推論の使い方が大事? 56
57 Enjoy!