効果を正しく検証するには？

Transcript

1. 政策効果を”正しく”測るには？ （因果推論入門） PoliPoli エンジニア (インターン生) 渡邉巽 / Watanabe tatsumi PoliPoli エンジニア LT #01 1
2. 自己紹介 ・氏名 渡邉 巽 (ワタナベ タツミ) ・所属 慶應義塾大学 4年生 （主専攻：計量経済学, 副専攻：CS） 2025.4～ PoliPoliでエンジニアインターン中 ・趣味/最近はまっていること バドミントン・ボドゲ・アニメ・自作OS,TCP/IP本 ・好きな技術 Bundle Protocol（RFC9171）,その他通信周りの技術 2
3. 今日話したいこと データの可視化（棒グラフ、折れ線グラフ etc …）≠ 効果検証 正しい比較ができていない分析・データのビジュアライゼーションは →“傾向・思い込み（バイアス）”の可視化。 効果検証において重要なのは、示された”効果”の「再現性」！ 今日は、難しい数式は 無しで説明します！ 3
4. ケース：メールでのクーポン配信の効果 あるEC企業は、 「クーポンをメールで配信すれば、売上が上がるはずだ」 と考えた。 そこで、全ユーザーにクーポン付きのメールを配信した。 その後、会社は実際にクーポンによってユーザーが商品を買ってくれてい たのかを分析するために、 「クーポン付きのメールを開封したユーザー」と 「クーポン付きのメールを開封していないユーザー」 で、翌月の平均購買量を比較してみることにした… 4
5. メールでのクーポン配信の効果 クーポン付きメール を開封しなかった人達 クーポン付きメール を開封した人達 商品の 平均購買量 クーポンによって、促進された効果？ 5 クーポン付きメールを見てく れた人の方が、商品を多く 買ってくれた！
6. 効果検証における問題 並行世界 現実 クーポンが配信された場合 購買量：1000円 クーポンが配信されない場合 購買量：500円 本当の効果=500円 6
7. メールでのクーポン配信の効果 商品の 平均購買量 クーポンによって、 購買促進された効果 メールをしなくても買う量 7 効果量の過大推定 分析によって 観測できる差分 クーポン付きメール を開封した人達 クーポン付きメール を開封しなかった人達 潜在的な購買量の差
8. メールでのクーポン配信の効果 何が起きているのか？ 「配信メールを開封して、クーポンを受け取るような購買意欲の高いユー ザーの方が、商品を購入する」ことが、分析結果を過剰に見積もらせた。 8 メールの開封 (クーポン配布) 購買量 （潜在的な）購買意欲 ＝交絡因子 例： 本から欲しい商品があって、 会社のメール配信を日頃から こまめに確認していた 例： クーポンの有無に関係なく、 購入しようとしていた。
9. 正しい効果検証を行うには クーポンの配布（処置の割り当て）をランダムなユーザーに行う。 → A/Bテスト （Randomized Controlled Trial（RCT）） → 分析のための事前設計を適切に行う必要がある。 9 クーポン配布 購買量 （潜在的な）購買意欲 ＝交絡因子 2変数の関連を除去
10. A/Bテスト（RCT） メール配信が可能なユーザ 平均的には同質な集団 メール配信あり（処置群） メール配信なし（比較群） 10 ランダムに グループ分け
11. A/Bテスト（RCT） メール配信を しなかった人達 メール配信を した人達 商品の 平均購買量 クーポンによって、促進された効果 メールをしなくても買う量 は等しくなる！ 11
12. データ分析の種類 メール配信を しなかった人達 メール配信をした人達 商品の 平均購買量 クーポンによって、促進された効果 時系列 メール配信（介入） 12 差の差分法(DID) T=1 T=2 T=3
13. まとめ 1. 単純な比較、データのビジュアライズでは、効果は測れない。 2. 効果検証において重要なのは「正しい比較を設計すること」。 3. 本当に知りたいのは「介入がなかった場合との比較」。 4. A/Bテスト（RCT）は最も確実に因果効果を推定できる手法。 13
14. 参考図書 • 効果検証入門 | 技術評論社 14
15. 参考図書 15 • ｢原因と結果｣の経済学 | 書籍 | ダイヤモンド社