Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
効果を正しく検証するには?
Search
渡邉 巽/watanabe tatsumi
December 02, 2025
0
210
効果を正しく検証するには?
渡邉 巽/watanabe tatsumi
December 02, 2025
Tweet
Share
Featured
See All Featured
How to Talk to Developers About Accessibility
jct
2
140
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
254
22k
Building a Scalable Design System with Sketch
lauravandoore
463
34k
Agile that works and the tools we love
rasmusluckow
331
21k
The Hidden Cost of Media on the Web [PixelPalooza 2025]
tammyeverts
2
220
Rebuilding a faster, lazier Slack
samanthasiow
85
9.4k
KATA
mclloyd
PRO
35
15k
Navigating the moral maze — ethical principles for Al-driven product design
skipperchong
2
270
Scaling GitHub
holman
464
140k
Discover your Explorer Soul
emna__ayadi
2
1.1k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
199
72k
Transcript
政策効果を”正しく”測るには? (因果推論入門) PoliPoli エンジニア (インターン生) 渡邉巽 / Watanabe tatsumi PoliPoli
エンジニア LT #01 1
自己紹介 ・氏名 渡邉 巽 (ワタナベ タツミ) ・所属 慶應義塾大学 4年生 (主専攻:計量経済学,
副専攻:CS) 2025.4~ PoliPoliでエンジニアインターン中 ・趣味/最近はまっていること バドミントン・ボドゲ・アニメ・自作OS,TCP/IP本 ・好きな技術 Bundle Protocol(RFC9171),その他通信周りの技術 2
今日話したいこと データの可視化(棒グラフ、折れ線グラフ etc …)≠ 効果検証 正しい比較ができていない分析・データのビジュアライゼーションは →“傾向・思い込み(バイアス)”の可視化。 効果検証において重要なのは、示された”効果”の「再現性」! 今日は、難しい数式は 無しで説明します!
3
ケース:メールでのクーポン配信の効果 あるEC企業は、 「クーポンをメールで配信すれば、売上が上がるはずだ」 と考えた。 そこで、全ユーザーにクーポン付きのメールを配信した。 その後、会社は実際にクーポンによってユーザーが商品を買ってくれてい たのかを分析するために、 「クーポン付きのメールを開封したユーザー」と 「クーポン付きのメールを開封していないユーザー」 で、翌月の平均購買量を比較してみることにした…
4
メールでのクーポン配信の効果 クーポン付きメール を開封しなかった人達 クーポン付きメール を開封した人達 商品の 平均購買量 クーポンによって、促進された効果? 5 クーポン付きメールを見てく
れた人の方が、商品を多く 買ってくれた!
効果検証における問題 並行世界 現実 クーポンが配信された場合 購買量:1000円 クーポンが配信されない場合 購買量:500円 本当の効果=500円 6
メールでのクーポン配信の効果 商品の 平均購買量 クーポンによって、 購買促進された効果 メールをしなくても買う量 7 効果量の過大推定 分析によって 観測できる差分
クーポン付きメール を開封した人達 クーポン付きメール を開封しなかった人達 潜在的な購買量の差
メールでのクーポン配信の効果 何が起きているのか? 「配信メールを開封して、クーポンを受け取るような購買意欲の高いユー ザーの方が、商品を購入する」ことが、分析結果を過剰に見積もらせた。 8 メールの開封 (クーポン配布) 購買量 (潜在的な)購買意欲 =交絡因子
例: 本から欲しい商品があって、 会社のメール配信を日頃から こまめに確認していた 例: クーポンの有無に関係なく、 購入しようとしていた。
正しい効果検証を行うには クーポンの配布(処置の割り当て)をランダムなユーザーに行う。 → A/Bテスト (Randomized Controlled Trial(RCT)) → 分析のための事前設計を適切に行う必要がある。 9
クーポン配布 購買量 (潜在的な)購買意欲 =交絡因子 2変数の関連を除去
A/Bテスト(RCT) メール配信が可能なユーザ 平均的には同質な集団 メール配信あり(処置群) メール配信なし(比較群) 10 ランダムに グループ分け
A/Bテスト(RCT) メール配信を しなかった人達 メール配信を した人達 商品の 平均購買量 クーポンによって、促進された効果 メールをしなくても買う量 は等しくなる!
11
データ分析の種類 メール配信を しなかった人達 メール配信をした人達 商品の 平均購買量 クーポンによって、促進された効果 時系列 メール配信(介入) 12
差の差分法(DID) T=1 T=2 T=3
まとめ 1. 単純な比較、データのビジュアライズでは、効果は測れない。 2. 効果検証において重要なのは「正しい比較を設計すること」。 3. 本当に知りたいのは「介入がなかった場合との比較」。 4. A/Bテスト(RCT)は最も確実に因果効果を推定できる手法。 13
参考図書 • 効果検証入門 | 技術評論社 14
参考図書 15 • 「原因と結果」の経済学 | 書籍 | ダイヤモンド社