広告の効果検証を題材にした因果推論の精度検証について

2026/02/04 に行われた「CA DATA NIGHT#8 〜ZOZO×CA：マーケティングの意思決定を支えるデータサイエンス〜」で発表した登壇資料です。
https://cyberagent.connpass.com/event/374952/

株式会社ZOZO
AI・アナリティクス本部 ビジネスアナリティクス部 マーケティングサイエンスブロック
茅原 佑介

Transcript

1. 広告の効果検証を題材にした 因果推論の精度検証について 2026/02/05 CA DATA NIGHT#8 〜ZOZO×CA：マーケティングの意思決定を⽀えるデータサイエンス〜 株式会社ZOZO AI‧アナリティクス本部 ビジネスアナリティクス部 マーケティングサイエンスブロック ブロック⻑ 茅原 佑介 Copyright © ZOZO, Inc. 1
2. © ZOZO, Inc. 株式会社ZOZO AI‧アナリティクス本部 ビジネスアナリティクス部 マーケティングサイエンスブロック ブロック⻑ 茅原 佑介 経歴: 2019年: 新卒でWEB広告企業に⼊社 2021年: ZOZOに転職し、現在に⾄る Ｘアカウント: @yusukekayahara 愛⽝: えんちゃん 2
3. © ZOZO, Inc. 3 はじめに 近年、因果推論は様々な分野で注⽬を集めており、ビジネスにおいてもその応⽤が進んでいます。 その中でも、広告分野は因果推論が特に重要視されている領域の⼀つです。 広告の効果を正確に測定することは、企業がマーケティング戦略を最適化し、 投資対効果を最⼤化するために不可⽋です。 しかし、広告効果の因果推論では多くの場合、ランダム化⽐較試験(RCT)が実施できないため、 推定される因果効果の精度が⼤きな課題となるケースが多々あります。 本発表では、ZOZOにおける広告効果検証を題材に、 因果推論の精度検証に向けた取り組みについて紹介します。
4. © ZOZO, Inc. 4 ⽬次 1. 導⼊ 2. なぜ因果推論の「精度検証」に取り組むのか？ 3. 因果効果の精度検証に関する取り組みの紹介 4. おわりに
5. © ZOZO, Inc. 5 ⽬次 1. 導⼊ 2. なぜ因果推論の「精度検証」に取り組むのか？ 3. 因果効果の精度検証に関する取り組みの紹介 4. おわりに
6. © ZOZO, Inc. https://zozo.jp/ 6 • ファッションEC • 1,600以上のショップ、9,000以上のブランドの取り扱い • 常時107万点以上の商品アイテム数と毎⽇平均2,700点以上の新着 商品を掲載（2025年9⽉時点） • ブランド古着のファッションゾーン「ZOZOUSED」や コスメ専⾨モール「ZOZOCOSME」、シューズ専⾨ゾーン 「ZOZOSHOES」、ラグジュアリー＆デザイナーズゾーン 「ZOZOVILLA」を展開 • 即⽇配送サービス • ギフトラッピングサービス • ツケ払い など
7. © ZOZO, Inc. 7 そもそも因果推論とは？ 因果推論とは、物事の因果関係(原因と結果の関係)を統計的に推論することです。 例えば、ある施策対象者の実績と反実仮想予測(施策がなかった場合の予測)の差分から、 「その施策が及ぼした因果効果」を推定するような分析を指します。
8. © ZOZO, Inc. 8 ZOZOと因果推論 ZOZOでは因果推論が浸透しており、因果効果がビジネス部⾨に「純増」と呼ばれ親しまれています。 ZOZO マーケティング本部所属メンバー: 私たちの部署では純増売上と純増新規購⼊者、 つまり、広告を配信したことで獲得できた売上や新規購⼊者を成果指標に置いています。 テレビCMやデジタル広告を配信することで売上が上がるのは容易に想像できますが、 テレビCMやデジタル広告の配信がなくても購⼊してくださったお客様もいるはずです。 その分の売上は、私たちの成果ではありません。 純増を追うということは、本当に広告を届けるべき⼈に、 届けることができているかを追い求めることなので、いつも試⾏錯誤を繰り返しています。 出典: スタッフインタビュー マーケティング本部 岩本 ⿇⾥、⻘⽊ 成⽮ - 株式会社ZOZO(https://corp.zozo.com/people/interview/45/)
9. © ZOZO, Inc. 9 ZOZOの因果推論プロジェクト ZOZOでは具体的に下記のような因果推論プロジェクトが実⾏されています。 アップリフトモデルによるユーザーターゲティング - DML* やMeta-Learnerといった⼿法を⽤いて 「あるユーザーを施策の対象とした場合の因果効果」を推定し、 因果効果が⼤きいユーザーを優先的に施策対象とする *DML: Double Machine Learning 各種因果推論⼿法を⽤いたマーケティング施策効果検証 - 合成コントロール法やDID* といった⼿法を⽤いて 前述のテレビCMを始めとする各種マーケティング施策の因果効果を推定し、施策評価に活⽤する *DID: Difference In Difference
10. © ZOZO, Inc. 10 ⽬次 1. 導⼊ 2. なぜ因果推論の「精度検証」に取り組むのか？ 3. 因果効果の精度検証に関する取り組みの紹介 4. おわりに
11. © ZOZO, Inc. 11 ZOZOと広告 ZOZOでは広告を積極的に活⽤しており、 テレビやSNSでZOZOTOWNの広告をご覧になったことがある⽅も多いかと思います。 ZOZOの2025年3⽉期決算(*)によると、 ZOZOが2024年度にかけた広告宣伝費は約130億円にものぼります。 ZOZOが出稿している広告媒体は多岐にわたり、さらには広告の形態やクリエイティブも多様です。 このような⼤規模な広告投資を⾏うにあたり、 売上等の事業KPIへの広告効果を正確に測定し、意思決定の精度を上げることが求められます。 * 出典 : 2025年3⽉期 通期決算発表 - 株式会社ZOZO (https://corp.zozo.com/ir/20250430-20253/)
12. © ZOZO, Inc. 12 ZOZOにおける広告の因果推論 ZOZOでは、主に都道府県粒度で広告をON/OFF設定するABテストを実施し、 SCM(合成コントロール法)を⽤いて因果効果を推定しています。 これは、いくつかの仮定を置き、広告を放映しなかった都道府県のKPIの加重和によって、 広告を放映した都道府県のKPIの反実仮想予測を構築する⼿法です。 具体的には、広告を放映していない期間の実績を⽤いて、 「東京都 = 2 * 埼⽟県 + 3 * 千葉県」のようなKPIの関係式を学習し、 広告を放映した期間の東京都の反実仮想予測を推定し、実績との差分を因果効果としています。 東京都 非放映地域 期間 日付 実績 予測 効果 埼玉県 千葉県 放映前 1/1 120 120 0 30 20 1/2 170 170 0 40 30 放映 1/3 200 170 30 40 30 1/4 100 80 20 25 10 ※数値はダミーです。
13. © ZOZO, Inc. 13 課題: 因果効果の精度担保 ここで問題となるのが、推定される因果効果の精度です。 因果推論には「因果推論の根本問題」と呼ばれる、本質的な難しさがあります。 これは「ある個体に対して、同時に複数の処置結果を観測することは不可能である」という制約です。 具体的には、あるユーザーが広告を⾒た場合と⾒なかった場合の両⽅の結果を同時に観測することは できないため、「もし〇〇であればどうなったか」という反実仮想の検証が困難になります。 ⼀⽅で精度が良いのか分からないまま因果効果をビジネスの意思決定に使⽤するわけにもいきません。 ここで私たちは、「使⽤して問題ない精度である」ことの担保は実質的に不可能と考え、 観測可能なデータで「最低限の精度が担保されているか」を検証するアプローチを採りました。 今回は、この取り組みについて詳しくご紹介します。
14. © ZOZO, Inc. 14 ⽬次 1. 導⼊ 2. なぜ因果推論の「精度検証」に取り組むのか？ 3. 因果効果の精度検証に関する取り組みの紹介 4. おわりに
15. © ZOZO, Inc. 15 因果効果の精度検証に関する取り組みの紹介 因果効果の精度担保に向け、主に以下の取り組みを実施しました。 1. ビジネス部⾨とのコミュニケーション 2. AAテストによる誤差検証 3. 放映期間中の間接的な誤差検証 4. 外部要因となる事象に関連する指標の確認 5. 複数⼿法での検証 6. 検証プランの設計
16. © ZOZO, Inc. 16 1. ビジネス部⾨とのコミュニケーション この取り組みを始めるにあたり、まずビジネス部⾨とのコミュニケーションを強化しました。 観察研究の⼿法を⽤いて算出された因果効果を適切に扱うことは専⾨家でも難しく、 ランダム化⽐較試験の結果に慣れているビジネス部⾨にとっては特に理解が難しい場合があります。 そのため、定期的なMTGを設け、以下のような項⽬について、継続的に情報共有を⾏いました。 • 因果推論の根本問題によって、因果効果の精度は本質的に不可知であること • 各種検証をこれから⾏うが、それでも完全に精度を担保することは不可能であること • 同じ因果推論でも、RCTと⽐較して観察研究の⼿法で算出した因果効果はリスクが⼤きいこと • 後述するような検証を⾏い精度担保を⽬指すが、使⽤可能な結果が得られない可能性もあること • 反実仮想予測のために⼀定数の⾮放映都道府県を作る必要があり、機会損失が⽣じること 上記のようなコミュニケーションと、ビジネス部⾨の⾮常に協⼒的な体制により、 因果推論の難しさやリスクについて、ビジネス部⾨に深く理解していただくことができ、 その後の検証についてもスムーズに進めることができました。
17. © ZOZO, Inc. 17 2. AAテストによる誤差検証 この取り組みにあたり、最も重要な取り組みがAAテストの実施です。 ここでのAAテストとは、本来因果効果がゼロになることが期待される状況下で因果推論を実施し、 推定される因果効果の誤差を検証する⼿法です。 今回であれば、広告を放映していない複数期間のデータを⽤いて、 実際の実験設計と同様のモデルでの反実仮想予測を実施し、 推定される因果効果にどの程度の誤差が含まれうるかを検証しました。
18. © ZOZO, Inc. 18 2. AAテストの重要性 ⼀⾒当たり前に思える検証ですが、実務上では納期やコストの都合で AAテストを実施せずに因果効果推定に取り組んでしまうケースもあるかと思います。 しかし、観察研究の⼿法を⽤いる場合は、必ず実施前にAAテストを⾏うことが重要です。 例えば、AAテストから検討している⼿法で反実仮想予測を⾏った際の誤差率を得られたとします。 このとき、先⾏研究や関連データから「期待される因果効果」を試算し⽐較することで、 「明らかに実施⾃体が無理筋でないか」を最低限判断することができます。 これにより、「無理筋な検証に⼯数を投下してしまう」リスクや、 「ただのバイアスを因果効果と解釈してしまう」リスクを事前に低減することができます。
19. © ZOZO, Inc. 19 3. 放映期間中の間接的な誤差検証 AAテストで誤差が⼩さかったとしても、AAテストはあくまで本番期間以外での検証であり、 「放映期間に何らかの要因で誤差が⼤きくなった」としても検知することができません。 そこで、放映期間付近でも以下のような誤差検証を実施しました。 いずれも「広告を放映していない かつ 観測可能」なデータを⽤いて反実仮想予測を⾏い、 誤差を評価する⼿法です。 • 3-1. 学習期間のデータを⽤いたTreatment地域の予測誤差の検証 • 3-2. 放映期間のデータを⽤いたControl地域の予測誤差の検証 次ページにてこれらの詳細をご紹介します。
20. © ZOZO, Inc. 20 3. 放映期間中の2つの誤差検証 3-1. 学習期間のデータを⽤いたTreatment地域の予測誤差の検証 モデルを学習させたデータを⽤いて、Treatment地域の反実仮想予測を実施し、誤差を評価します。 実際にモデルに学習させたものを評価するため、「誤差が⼩さくなって当然」という前提ですが、 ここで⼤きな誤差が出る場合には「何等かの要因で学習⾃体がうまく⾏っていない」ことを 検知することができます。 3-2. 放映期間のデータを⽤いたControl地域の予測誤差の検証 放映期間中に広告を放映していない特定のControl都道府県に対し、 その他のControl都道府県のデータを⽤いて反実仮想予測を実施し、誤差を評価します。 これはControl地域のデータを⽤いるため、「Treatment地域の誤差」は評価できませんが、 「Treatment地域の予測と同様の問題設定で、どの程度の誤差が出るか」を検証することができます。
21. © ZOZO, Inc. 21 4. 外部要因となる事象に関連する指標の確認 検証対象となるKPIに影響を与える可能性のある外部要因を洗い出し、 それらに関連する指標の実績推移を確認しました。 例えば、ZOZOでは⾐服をはじめとする季節性の強い商品を販売しているため、 「都道府県ごとの気温推移のズレ」が広告効果の推定に影響を与える可能性があります。 このような外部要因を事前に洗い出し、関連指標の実績推移を確認することで、 「外部要因によって推定結果が "荒れやすい" 期間でないか」を検証することができます。 実際に整理を始めると、影響を与えうるファクターは無数に存在するため、 ビジネス部⾨と協⼒しつつ、影響度の⼤きい要因に絞り、優先的に確認することが重要となります。
22. © ZOZO, Inc. 22 5. 複数⼿法での検証 もし可能であれば、複数の因果推論⼿法を⽤いて因果効果を推定し、結果を⽐較することも有効です。 構造上異なる⼿法で類似する結果が得られれば、精度担保の⼀助となります。 ⼀⽅で、ここで重要となるのは、「各⼿法でのバイアスの発⽣機序」を整理することです。 異なる⼿法を使⽤したとしても、同じ機序でバイアスが発⽣する⼿法同⼠では、 類似する結果が得られたとしても、精度担保には繋がりません。 そのため、各⼿法でのバイアス発⽣機序を整理し、⼀助になる場合には使⽤することが重要です。 ZOZOでは、広告媒体社が提供する効果指標と⽐較することで、複数⼿法での検証を実施しました。 例えば、Meta広告においては、Conversion Lift(*)という広告効果の測定⼿法が提供されています。 これは広告を表⽰するユーザーをランダムに割り当て、ITT(Intention To Treat)を測定する⼿法です。 ⼀⽅でこういった⼿法を⽤いることができる広告媒体は⼀部となるため、 これらを参考値として使⽤しつつ、全体の効果はSCMで測定するアプローチを採⽤しています。 * 出典 : コンバージョンリフトについて | Metaビジネスヘルプセンター (https://www.facebook.com/business/help/221353413010930?id=547299432790676)
23. © ZOZO, Inc. 23 6. 検証プランの設計 以上の対策についても、⼿当たり次第に実施してしまうと 「都合のいい結果が得られるまで続ける」といった恣意的な操作に繋がってしまう恐れがあります。 そのため、事前に検証プランを設計し、検証内容や合格基準を明確に定めた上で検証を実施しました。 このとき、以下のようなポイントを抑えつつ、 ここまで紹介した各種検証を組み合わせてプランを設計しました。 • 事前に設定したものを後から変更しないこと ◦ "後知恵バイアス" による影響を防ぐため、「結果を⾒てから考える」ことを避ける • 実施前に基準や分岐条件を定量的に定めること • 検証回数を増やす場合の信頼度へのペナルティを考慮すること ◦ イメージ: 統計的仮説検定におけるボンフェローニ補正
24. © ZOZO, Inc. 24 ⽬次 1. 導⼊ 2. 動機: なぜ因果推論の「精度検証」に取り組むのか？ 3. 因果効果の精度検証に関する取り組みの紹介 4. おわりに
25. © ZOZO, Inc. 25 おわりに 今回は「因果推論の精度検証」という⾮常に難しい課題に対し、 ZOZOが取り組んでいる内容として、以下のアプローチをご紹介しました。 1. ビジネス部⾨とのコミュニケーション 2. AAテストによる誤差検証 3. 放映期間中の間接的な誤差検証 4. 外部要因となる事象に関連する指標の確認 5. 複数⼿法での検証 6. 検証プランの設計 ここまでもご紹介した通り「絶対的な正解」はない分野となるため、 今回の取り組みをベースに皆さんのドメインに合わせてアレンジしてご活⽤いただけると嬉しいです。 ご清聴ありがとうございました！