Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
効果を正しく検証するには?
Search
渡邉 巽/watanabe tatsumi
December 02, 2025
520
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
効果を正しく検証するには?
渡邉 巽/watanabe tatsumi
December 02, 2025
Transcript
15 slides
政策効果を”正しく”測るには? (因果推論入門) PoliPoli エンジニア (インターン生) 渡邉巽 / Watanabe tatsumi PoliPoli
エンジニア LT #01 1
自己紹介 ・氏名 渡邉 巽 (ワタナベ タツミ) ・所属 慶應義塾大学 4年生 (主専攻:計量経済学,
副専攻:CS) 2025.4~ PoliPoliでエンジニアインターン中 ・趣味/最近はまっていること バドミントン・ボドゲ・アニメ・自作OS,TCP/IP本 ・好きな技術 Bundle Protocol(RFC9171),その他通信周りの技術 2
今日話したいこと データの可視化(棒グラフ、折れ線グラフ etc …)≠ 効果検証 正しい比較ができていない分析・データのビジュアライゼーションは →“傾向・思い込み(バイアス)”の可視化。 効果検証において重要なのは、示された”効果”の「再現性」! 今日は、難しい数式は 無しで説明します!
3
ケース:メールでのクーポン配信の効果 あるEC企業は、 「クーポンをメールで配信すれば、売上が上がるはずだ」 と考えた。 そこで、全ユーザーにクーポン付きのメールを配信した。 その後、会社は実際にクーポンによってユーザーが商品を買ってくれてい たのかを分析するために、 「クーポン付きのメールを開封したユーザー」と 「クーポン付きのメールを開封していないユーザー」 で、翌月の平均購買量を比較してみることにした…
4
メールでのクーポン配信の効果 クーポン付きメール を開封しなかった人達 クーポン付きメール を開封した人達 商品の 平均購買量 クーポンによって、促進された効果? 5 クーポン付きメールを見てく
れた人の方が、商品を多く 買ってくれた!
効果検証における問題 並行世界 現実 クーポンが配信された場合 購買量:1000円 クーポンが配信されない場合 購買量:500円 本当の効果=500円 6
メールでのクーポン配信の効果 商品の 平均購買量 クーポンによって、 購買促進された効果 メールをしなくても買う量 7 効果量の過大推定 分析によって 観測できる差分
クーポン付きメール を開封した人達 クーポン付きメール を開封しなかった人達 潜在的な購買量の差
メールでのクーポン配信の効果 何が起きているのか? 「配信メールを開封して、クーポンを受け取るような購買意欲の高いユー ザーの方が、商品を購入する」ことが、分析結果を過剰に見積もらせた。 8 メールの開封 (クーポン配布) 購買量 (潜在的な)購買意欲 =交絡因子
例: 本から欲しい商品があって、 会社のメール配信を日頃から こまめに確認していた 例: クーポンの有無に関係なく、 購入しようとしていた。
正しい効果検証を行うには クーポンの配布(処置の割り当て)をランダムなユーザーに行う。 → A/Bテスト (Randomized Controlled Trial(RCT)) → 分析のための事前設計を適切に行う必要がある。 9
クーポン配布 購買量 (潜在的な)購買意欲 =交絡因子 2変数の関連を除去
A/Bテスト(RCT) メール配信が可能なユーザ 平均的には同質な集団 メール配信あり(処置群) メール配信なし(比較群) 10 ランダムに グループ分け
A/Bテスト(RCT) メール配信を しなかった人達 メール配信を した人達 商品の 平均購買量 クーポンによって、促進された効果 メールをしなくても買う量 は等しくなる!
11
データ分析の種類 メール配信を しなかった人達 メール配信をした人達 商品の 平均購買量 クーポンによって、促進された効果 時系列 メール配信(介入) 12
差の差分法(DID) T=1 T=2 T=3
まとめ 1. 単純な比較、データのビジュアライズでは、効果は測れない。 2. 効果検証において重要なのは「正しい比較を設計すること」。 3. 本当に知りたいのは「介入がなかった場合との比較」。 4. A/Bテスト(RCT)は最も確実に因果効果を推定できる手法。 13
参考図書 • 効果検証入門 | 技術評論社 14
参考図書 15 • 「原因と結果」の経済学 | 書籍 | ダイヤモンド社
More Decks by 渡邉 巽/watanabe tatsumi
See All by 渡邉 巽/watanabe tatsumi
その実装の仕方は、どうして正しいの?
watanabetatsumi
0
21
ソフトウェア設計の結合とバランス_1章
watanabetatsumi
0
29
Featured
See All Featured
Producing Creativity
orderedlist
PRO
348
41k
Learning to Love Humans: Emotional Interface Design
aarron
275
41k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
38
3.1k
The Organizational Zoo: Understanding Human Behavior Agility Through Metaphoric Constructive Conversations (based on the works of Arthur Shelley, Ph.D)
kimpetersen
PRO
0
550
Lightning Talk: Beautiful Slides for Beginners
inesmontani
PRO
2
860
Designing Experiences People Love
moore
143
24k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
232
55k
Git: the NoSQL Database
bkeepers
PRO
433
67k
Well, that’s weird…
csswizardry
1
200
How to build an LLM SEO readiness audit: a practical framework
nmsamuel
2
990
Abbi's Birthday
coloredviolet
5
11k
Primal Persuasion: How to Engage the Brain for Learning That Lasts
tmiket
0
520