白金鉱業Meetup_Vol.20 効果検証ことはじめ / Introduction to Impact Evaluation

2025年9月18日に実施した、白金鉱業 Meetup Vol.20@六本木（効果検証編）
での株式会社 ブレインパッド平井の登壇スライドです。

イベントURL
https://brainpad-meetup.connpass.com/event/365473/

Transcript

1. 効果検証 ことはじめ 白金鉱業Meetup Vol.20 効果検証編
2. アジェンダ 自己紹介 AB テ ス ト の 必 要 性 ABテストの必要性 AB テ ス ト の 難 し さ ABテストの難しさ
3. 3 ©BrainPad Inc. 自己紹介 平井 直知 ひらい なおあき ブレインパッド データサイエンティスト 経済学研究科を修了（修士） 異質介入効果（CATE）の推定が修論のテーマ 昔は演劇でスタッフしてましたが、 今はからきしです 学生時代の愛用メジャー
4. アジェンダ 自 己 紹 介 自己紹介 ABテストの必要性 AB テ ス ト の 難 し さ ABテストの難しさ
5. 5 ©BrainPad Inc. 効果検証とは 効果検証とは、施策によるKPIの増分を確かめること（異論は可） 効果検証の例 • DMによるクーポンでサイト来訪者がどれだけ増加するか • ECサイトの「購入ボタン」のデザイン変更でどれだけCVR（購入率）が上がるか • ECサイトのレコメンドロジックで、どれだけCTR（クリック率）が増えるか
6. 6 ©BrainPad Inc. 効果検証とは 簡単な施策効果の測り方 時系列で比較 キャンペーンの参加者・非参加者で比較 施策後の売上 （4月） 施策前の売上 （3月） 施策前後で 比較 会員全体 参加者 売上 5,000万円 非参加者 売上 2,000万円 施策参加で 比較
7. 7 ©BrainPad Inc. 効果検証とは 簡単な施策効果の測り方 時系列で比較 キャンペーンの参加者・非参加者で比較 施策前の売上 （3月） 施策後の売上 （4月） 施策前後で 比較 会員全体 参加者 売上 5,000万円 非参加者 売上 2,000万円 施策参加で 比較 誤った効果検証
8. 8 ©BrainPad Inc. 会員全体 効果検証とは 誤りポイントは、施策以外の要因も効果に含まれていること 時系列で比較 キャンペーンの参加者・非参加者で比較 施策前の売上 （3月） 施策後の売上 （4月） 季節トレンド 真の施策効果 参加者 非参加者 参加者は 元から購入意欲が 高い人の集まり
9. 9 ©BrainPad Inc. 施策前の売上 （3月） 施策がない場合の売上 （4月） 施策がある場合の売上 （4月） 効果検証のベースとなる考え方 施策以外の要因が同質なものを比較対象に設定するのが原則 比べるのはこの二つ！！！
10. 10 ©BrainPad Inc. ABテスト（RCT） 母集団を「介入を行う群」と「介入しない群」の二群にランダムに分け、比較 介入群 対照群 KPIを比較 KPIがXX%増加 施策ROIがY.YY 介入群と対照群をランダムに割り振ることで、 介入群と対照群が同質となる ※同質＝性質が同じ。ユーザの性別・年代・年 収などのデモグラ情報やサービスの利用頻度、 購買金額などに偏りが生じていない状態。
11. 11 ©BrainPad Inc. ABテストをもう少し厳密に 効果検証を行う際には、「ユニット」「介入」「結果変数」の3つを定義する 介入の対象となる最小単位 • 会員ID • クッキー • 店舗 ユニットに対して何を行うか • メール送付 • ECサイト上のポップアップ • 店舗の棚割り変更 介入の効果を測る指標 • MAU（月当たりのアクティブユーザー数） • CVR • 売上金額 定義すべき項目 ユニット 介入 結果変数 𝑖で表記 𝑇𝑖 ∈ {0, 1}で表記 𝑌𝑖 で表記 特に、因果推論特有の記法として、 • 𝑌𝑖 1 : 𝑖の介入時の結果の値 • 𝑌𝑖 0 : 𝑖の未介入時の結果の値 よくある数式
12. 12 ©BrainPad Inc. ABテストをもう少し厳密に ここまでの内容を数式で書くと 言葉での表現 数式での表現 平井に対する介入効果は 「介入した際の売上」ー「介入しない際の売上」 ユニット𝑖への介入効果は 𝑌𝑖 1 − 𝑌𝑖 (0) 母集団を対象群と介入群にランダムに分け、 「介入群の平均値」と「対照群の平均値」の差から 平均処置効果（ATE）を推定 𝑌𝑖 1 , 𝑌𝑖 0 ⊥ 𝑇𝑖 を満たすようランダムに介入し、 𝐸 𝑌𝑖 1 と𝐸[𝑌𝑖 0 ]を推定し、 ATE = 𝐸 𝑌𝑖 1 − 𝐸[𝑌𝑖 0 ]を推定 だが、1ユニットに対し、 介入あり/なしの片方のみしか観測できず、 平井に対する介入効果は観測不能 だが、ユニット𝑖に対し、 𝑌𝑖 1 か𝑌𝑖 (0)の片方しか観測できず、 𝑌𝑖 1 − 𝑌𝑖 (0)は観測不能
13. 13 ©BrainPad Inc. まじめに効果検証したいならABテストをしよう！ ともあれ…
14. アジェンダ 自 己 紹 介 自己紹介 AB テ ス ト の 必 要 性 ABテストの必要性 ABテストの難しさ
15. 15 ©BrainPad Inc. ABテストって簡単だよね！ 勉強した 部長 ABテストをしよう！ ABテストって、ランダムにして平均値とるだけだよね？ データサイエンティストみたいなカタカナの肩書の人、 雇わなくて良いよね？
16. 16 ©BrainPad Inc. ABテストって簡単だよね！ 昔の平井 ほんまにそう思うでちゅ…
17. 17 ©BrainPad Inc. ABテストって簡単だよね！ 弊社の誇る DS平井 仰る通り、ABテストはシンプルな効果検証の手法です。 しかし、実際の運用は非常に難易度が高いです。 実際、PDCAの各プロセスでこのような落とし穴があります。
18. 18 ©BrainPad Inc. ABテストって意外と難しい ABテストの実施時に考慮すべき点は多い Plan Action • KPI設定 • サンプルサイズ設計 • 介入効果のモニタリング • 知見の蓄積 • 意思決定に繋げる報告力 Do Check • ランダム化されているかの検証 （AAテスト） • 介入ユニットと分析ユニットが違う 場合の対処 • 結果が出るまで時間がかかる • セグメント探索時の多重検定 • 同時期に他の施策が実施されていた • ガードレールメトリクスの設定 効果検証の PDCAサイクル Pl an D o Act ion Ch eck
19. 19 ©BrainPad Inc. メールでクーポンを配布する際、 介入群と対照群のCVRの差をKPIとして良いか？ KPI設定の難しさ（1/2）
20. 20 ©BrainPad Inc. KPI設定の難しさ（2/2） 「商品の利益率」と「クーポンのコスト」を加味した、利益の増分を測るべき 元からある利益 原価 クーポンなしでも購入する人 クーポンなしでの利益 商 品 の 売 値 人数 ※ 仮定1. クーポンによる単価の変化はないと仮定。仮定2. クーポンにより買わなくなる人はいない。 利益率 クーポンによる利益構造※ クーポンによる減益 元からある利益 原価 クーポンなしでも購入する人 （無駄打ち） クーポンによる 増益 原価 クーポンにより購入する人 （アップリフト）
21. 21 ©BrainPad Inc. 介入ユニットと分析ユニットの違いの難しさ（1/2） ECサイトでポップアップを掲出する際の介入ユニットと分析ユニットは？ https://www.brainpad.co.jp/
22. 22 ©BrainPad Inc. 介入ユニットと分析ユニットの違いの難しさ（2/2） 分析ユニットは「人」が理想だが、介入ユニットは「クッキー」になりがち ユニットの候補 ページ閲覧 クッキー 人 ページを閲覧の度に、 ポップアップ掲出するかをランダム化 1st Party Cookieの粒度で ランダム化を行う 人を特定できないため、不可能 ログイン済みであれば、 人単位での介入も可能 介入のランダム化の容易さ 分析ユニットの妥当さ 基本的には人粒度だが、 同じ人が複数ブラウザを利用すれば クッキーが異なる 購入の有無は人単位 ページ閲覧が適当なケースを 思いつかない…
23. 23 ©BrainPad Inc. 効果検証、難しいです ともあれ…
24. 24 ©BrainPad Inc. ちなみに… 社内で「A/Bテストの標準化ワークショップ」してます A/Bテストの成果を向上させる「標準化」の打ち手 ― 社内ワークショップ開催レポート
25. 株式会社ブレインパッド 106-0032 東京都港区六本木三丁目1番1号 六本木ティーキューブ TEL：03-6721-7002 FAX：03-6721-7010 www.brainpad.co.jp info@brainpad.co.jp 本資料は、未刊行文書として日本及び各国の著作権法に基づき保護されております。本資料には、株式会社ブレインパッド所有の特定情報が含まれており、これら情報に基づく本資料の内容は、貴社以外の第三者に開示されること、また、本資料を評価する以外の目的で、その 一部または全文を複製、使用、公開することは、禁止されています。また、株式会社ブレインパッドによる書面での許可なく、それら情報の一部または全文を使用または公開することは、いかなる場合も禁じられております。 ©BrainPad Inc.