白金鉱業Meetup Vol.25 アウトカムが二値のデータに対するCausal Impact

2026年9月17日に実施した、白金鉱業 Meetup Vol.25@六本木（効果検証編）
での株式会社 ブレインパッド久野の登壇スライドです。

久野のX/Twitterアカウント
https://x.com/probabirhythm

イベントURL
https://brainpad-meetup.connpass.com/event/398755/

Transcript

1. 白金鉱業 Meetup Vol.25@六本木（効果検証編） アウトカムが二値のデータに対するCausal Impact 2026年9月17日 株式会社ブレインパッド
2. アジェンダ 1. 自己紹介 2. 分析の目的 3. アプローチ 4. 結果イメージ 5. モデルの発展可能性 6. LLM時代の専門性の役割 ©BrainPad Inc. Strictly Confidential 2
3. 自己紹介 • 氏名： • 経歴： 土木学科 → ITコンサル@外資SIer → DS@BrainPad • 趣味： • その他： 久野 元（くの はじめ） ギター・ベース・ドラム • 総研大統計科学コース博士課程に在籍中（来年3月卒業予定） • 技術評論社にてベイズ×効果検証の書籍を執筆中（来年3月出版予定？） ©BrainPad Inc. Strictly Confidential 3
4. 分析の目的 店舗に広告を設置した結果、各商品の売上にどのように影響するかを分析したい。 ？ ©BrainPad Inc. Strictly Confidential 4
5. アプローチの選定理由 事後検証としては信頼度の高い時系列的な反実仮想予測を分析手法として選択。 信頼度高 信頼度低～中 信頼度低 A/Bテスト 時系列の反実仮想予測 モデルによる交絡の調整 設置/非設置店舗をランダムに分け売上を比較。 今回は事後検証のため不可能。 過去売上や非設置店舗売上、イベントデータ などを使い「設置しなければどれぐらいの売上 だったか」を予測→差分から施策効果を推定。 DID・Causal Impact・ITS・固定効果など。 交絡変数を傾向スコアや回帰モデルに入力し 交絡を調整することで施策効果を推定。 未観測交絡がなく構造が推定できる必要あり。 ©BrainPad Inc. Strictly Confidential 5
6. Causal Impactの分析フロー Causal Impactとは、設置しなかった場合の売上を予測し、実測との差分で効果を推定する手法。 入力 予測モデル作成 個別施策効果推定 売上推移や近隣非設置店舗、主要イベ ントなど予測に寄与する変数を考慮 非設置時の売上予測モデルを作成 各店舗の施策効果を推定 予測精度チェック 期間・属性別集計 設置前データで予測精度をチェック 個別効果を期間・店舗属性別で集計 過去の売上推移 近隣非設置店舗 ※SUTVAの仮定が必要 住宅街 店舗 価格改定 新商品発売 工業地帯 店舗 設置1ヶ月 500 1,000 設置2ヶ月 400 1,500 つまり・・・ 過去の推移・近隣非設置店舗・主要なイベントを考慮したうえでなお残る積み残し＝設置効果 ©BrainPad Inc. Strictly Confidential 6
7. 本アプローチの課題 ある商品の日次売上が0~1個であったため、通常のCausal Impactではアプローチできないという 課題に直面。 ある商品の売上データのイメージ 売 上 個 数 ©BrainPad Inc. Strictly Confidential 7
8. 二値時系列モデルによるアプローチ Causal Impactの元論文を参考に観測を二値にしたベイズ構造時系列モデルを PyMCで実装することで通常のCausal Impactと同様のプロセスで施策効果を推定。 潜在変数層 ・・・ • トレンド項：𝜇𝑡 = 𝜇𝑡−1 + 𝑤𝑡 , 𝑤𝑡 ∼ 𝒩(0, 𝜎𝑤2 ) 𝜇𝑡−1 , 𝛾𝑡−1 𝜇𝑡 , 𝛾𝑡 𝜇𝑡+1 , 𝛾𝑡+1 ・・・ 1 • 週次性項： 𝛾𝑡 = 𝛾෤𝜏 − 7 σ7𝜏=1 𝛾෤𝜏 , 𝛾෤𝜏 ∼ 𝒩 0, 𝜎𝛾2 ※ 𝜏 ≡ 𝑡 (mod 7) ※ 𝜎𝑤 と𝜎𝛾 はシミュレーションを通して決定 潜在確率層 𝑝𝑡−1 𝑝𝑡 𝑝𝑡+1 • 潜在確率項：𝑝𝑡 = logit(𝜇𝑡 + 𝛾𝑡 + 𝒙𝑡 𝜷) • 回帰係数： 𝛽𝑑 ∼ 𝐻𝑜𝑟𝑠𝑒𝑠ℎ𝑜𝑒 ※ 𝐻𝑜𝑟𝑠𝑒𝑠ℎ𝑜𝑒とは強化版ベイジアンラッソ 𝑦𝑡−1 𝑦𝑡 𝑦𝑡+1 • 観測変数項： 𝑦𝑡 = Bernoulli(𝑝𝑡 ) 観測変数層 ©BrainPad Inc. Strictly Confidential 8
9. 【補足】DIDを選ばなかった理由 DIDも選択肢としては検討したものの、推定量の統一や設置タイミングの扱いの観点から 二値時系列モデルの実装＋Causal Impactを選択。 ① 分析プロセス・推定量の統一 • 他の商品はCausal Impactを適用できたので、分析プロセス・推定量を揃えたかった。 • 特にCausal Impactは𝑝(𝑌𝑖,𝑡 1 − 𝑌𝑖,𝑡 0 ∣ 𝐷)を推定できるが、DIDでは𝑌 1 − 𝔼[𝑌 0 ∣ 𝐷]しか推定できない。 ② 設置タイミングの扱い • 広告の設置タイミングが全店舗バラバラでDIDが使いにくかった。 • Staggered DIDも検討したが、扱いきれないほど設置タイミングがバラバラだった。 ③ 平行トレンド仮定チェックの難しさ • そもそも平行トレンド仮定チェックは仮説検定の誤用になりがち。 • 期間・店舗属性別に効果を推定したいが、すべての条件でチェックするのは多重性の懸念があった。 • 介入前データを分割して予測性能が十分であることを確認するほうが、Kaggle的でやりやすい。 ④ 予測範囲 • 通常のDIDのような連続値予測では予測・施策効果が0~1の外に出る。 ⑤ モデリングの柔軟性 • 本アプローチのほうがイベントなど色々な要素を考慮でき、データ生成過程に極力近いモデリングが可能である。 ※識別の議論はシミュレーションスタディを念入りにやることで一定対処可能 ©BrainPad Inc. Strictly Confidential 9
10. 検証結果イメージ 予測性能を確認したうえで、期間別・店舗属性別に施策効果を推定・集計。 商業地帯 工業地帯 住宅街 ©BrainPad Inc. Strictly Confidential 10
11. モデルの拡張可能性 本手法はカウントデータ・角度データなどの他データにも容易に拡張可能。 また、空間相関を考慮することで、精度が向上する可能性あり。 他データへの拡張 空間相関のモデリング 本アプローチは観測モデルを変更することで カウントデータ・角度データ・カテゴリデータなど 他データへも適用可能。 トレンド項・週次性項に加え、ガウス過程などを用いて 空間相関をとらえる項をいれることで 推定精度が向上する可能性あり。 ©BrainPad Inc. Strictly Confidential 11
12. LLM時代の専門性の役割 LLMにより実装工数が下がり分析設計能力の重要性が向上 今回の分析はデータ整形から分析、報告までを1ヶ月で実行 LLMによって実装工数が下がりパッケージがないような手法も選択肢に入るように 広い分析手法から選択できる能力の重要性はむしろ向上 アウトプットを解釈・レビューできる能力は必須 複雑な手法を選ぶには、アウトプットを解釈・レビューできる能力が必須 特に、統計・効果検証分野では正確な理解が重要 LLMはちゃんとガバナンスをとらないと、勝手に試行錯誤（≒p-Hacking）してしまう 経験と知識に基づく「とがったベストプラクティス」はまだ価値がある 今回の手法はやや非教科書的・非標準的な手法 ただ、私はベストプラクティスと信じて分析した 統計・効果検証に限らず、どの分野でも経験と知識に基づく「とがったベストプラクティス」の価値は今後も高いはず ©BrainPad Inc. Strictly Confidential 12
13. ©BrainPad Inc. 株式会社ブレインパッド 106-0032 東京都港区六本木三丁目1番1号 六本木ティーキューブ TEL：03-6721-7002 FAX：03-6721-7010 www.brainpad.co.jp info@brainpad.co.jp 本資料は、未刊行文書として日本及び各国の著作権法に基づき保護されております。本資料には、株式会社ブレインパッド所有の特定情報が含まれており、これら情報に基づく本資料の内容は、貴社以外の第三者に開示されること、また、本資料を評価する以外の目的で、その 一部または全文を複製、使用、公開することは、禁止されています。また、株式会社ブレインパッドによる書面での許可なく、それら情報の一部または全文を使用または公開することは、いかなる場合も禁じられております。