マッチングアプリにおけるユーザー構成の変化は、事業KPIにどう影響しているのか

Transcript

1. マッチングアプリにおけるユーザー構成の変化は、 事業KPIにどう影響しているのか 新海 公章 CA DATA NIGHT#8
2. 新海公章 • 所属 ◦ 株式会社サイバーエージェント ▪ メディア統括本部/DataScienceCenter • 職種 ◦ データサイエンティスト • 業務内容 ◦ タップルのデータ活用 ▪ 有料プランの収益改善に関する分析 ▪ 新機能の効果検証 ▪ マーケティングに関する分析
3. • サービス紹介 • 背景・目的 • 課題 • 方法 • 結果 • まとめ 目次
4. サービス紹介
5. タップルとは？ • 国内最大級のマッチングアプリ ◦ 趣味や価値観などで出会える機能が豊富
6. タップルが掲げる”パーパス”
7. 主な機能：フリック・マッチ・メッセージ
8. 背景・目的
9. マッチングアプリのユーザー構成 サービスの成立には、女性・男性の双方が バランスよく存在することが不可欠 女性ユーザー 男性ユーザー
10. 収益構造の非対称性 売上の大半は男性ユーザーによって成り立っている 女性ユーザー • 無料：フリック・マッチ・ メッセージ ※女性用の月額プランもあります • 無料：フリック・マッチ • 有料：メッセージ ◦ 月額プランに登録 男性ユーザー
11. 課題：女性ユーザーの価値を定量化できない サービスの特性上、女性ユーザーの売上比率が低いため、 「女性1人を獲得する価値」を定量化するのが難しい 男性ユーザー • CPA（顧客獲得単価）：✔ • LTV（顧客生涯価値）：?? • ROAS（広告費用対効果）：?? • CPA（顧客獲得単価）：✔ • LTV（顧客生涯価値）：✔ • ROAS（広告費用対効果）：✔ 女性ユーザー
12. 仮説 女性ユーザー 新規登録数 事業KPI ? 「女性ユーザーの新規登録数」が増加すれば、 男性ユーザー体験がよくなり｢事業KPI｣が向上するのでは？
13. 仮説 女性ユーザー 新規登録数 事業KPI ? コントロール できない 「女性ユーザーの新規登録数」が増加すれば、 男性ユーザー体験がよくなり｢事業KPI｣が向上するのでは？
14. 仮説 女性ユーザー 新規登録数 事業KPI ? 女性向け 広告配信 ? 介入 「女性ユーザーの新規登録数」が増加すれば、 「女性向け広告配信」が増加すれば 男性ユーザー体験がよくなり｢事業KPI｣が向上するのでは？
15. プロジェクトの目的 女性ユーザーの新規登録者数が、 事業KPIに与える影響を定量化する リサーチクエスチョン • 女性向け広告配信を増やすと、女性ユーザーの新規登録数は増えるのか？ • 女性向け広告配信を増やすと、事業KPIは増えるのか？
16. 課題
17. 理想的なアプローチ アプリ内データ アプリ内データ
18. 課題：なぜ理想的なアプローチができない 介入群に割り当てられ 広告に接触した女性の新規ユーザーが、 統制群の男性ユーザーともマッチするため、 群間の独立性を保てない IDFA取得制限等により、 ｢広告接触データ｣と｢アプリ行動データ｣を ユーザー単位で紐づけるのが困難 ユーザー単位でのABテストができない SUTVA違反 プライバシー規制
19. 理想的なアプローチ:ユーザー単位のABテスト プライバシー規制 ユーザーIDを紐付けれない アプリ内データ アプリ内データ
20. 課題：なぜ理想的なアプローチができない 介入群に割り当てられ 広告に接触した女性の新規ユーザーが、 統制群の男性ユーザーともマッチするため、 群間の独立性を保てない IDFA取得制限等により、 ｢広告接触データ｣と｢アプリ行動データ｣を ユーザー単位で紐づけるのが困難 ユーザー単位でのABテストができない SUTVA違反 プライバシー規制
21. 理想的なアプローチ:ユーザー単位のABテスト SUTVA違反 介入群の女性が 統制群の男性とマッチする アプリ内データ アプリ内データ
22. 課題：なぜ理想的なアプローチができない 介入群に割り当てられ 広告に接触した女性の新規ユーザーが、 統制群の男性ユーザーともマッチするため、 群間の独立性を保てない IDFA取得制限等により、 ｢広告接触データ｣と｢アプリ行動データ｣を ユーザー単位で紐づけるのが困難 ユーザー単位でのABテストができない SUTVA違反 プライバシー規制
23. 方法
24. 解決策：地域単位での介入 地域分割 1 介入操作 2 分析 3 地域単位で ｢介入群｣と｢統制群｣の 2つに分割 介入群のみ 女性向け広告配信を増加 女性向け広告配信が 事業KPIに与える 効果を推定 介入群 統制群
25. 解決策：地域単位での介入 地域分割 1 介入操作 2 分析 3 地域単位で ｢介入群｣と｢統制群｣の 2つに分割 介入群のみ 女性向け広告配信を増加 女性向け広告配信が 事業KPIに与える 効果を推定 介入群 統制群
26. 地域を分割 パターン① パターン② パターン③ ランダムに分割 地理的特徴で分割 (例:東日本・西日本) 郡間を跨ぐマッチが 最小になるよう分割
27. 地域を分割 パターン① パターン② パターン③ ランダムに分割 地理的特徴で分割 (例:東日本・西日本) 郡間を跨ぐマッチが 最小になるよう分割 プロダクトの特性に応じて、分割方法を選択する必要がある DIDをベースに推定を行うため、平行トレンドを確認する必要がある
28. 解決策：地域単位での介入 地域分割 1 介入操作 2 分析 3 地域単位で ｢介入群｣と｢統制群｣の 2つに分割 介入群のみ 女性向け広告配信を増加 女性向け広告配信が 事業KPIに与える 効果を推定 介入群 統制群
29. 実験の詳細 • 介入内容 ◦ ｢女性向けの広告配信｣を増額 ▪ 介入群の女性だけをターゲティング したキャンペーンを作成 ▪ 予算〇〇円 • 期間 ◦ 〇〇ヶ月間 ※イメージ
30. 解決策：地域単位での介入 地域分割 1 介入操作 2 分析 3 地域単位で ｢介入群｣と｢統制群｣の 2つに分割 介入群のみ 女性向け広告配信を増加 女性向け広告配信が 事業KPIに与える 効果を推定 介入群 統制群
31. 分析の詳細 • 二方向固定効果モデルをベースとした推定式 β (Beta) 広告費1円あたりの 介入効果 Cost it 連続的な介入強度 (広告コスト) γ i 地域固定効果 地域固有の不変要因を吸収 δ t 日付固定効果 共通の時間トレンドを吸収
32. 分析の詳細 • 二方向固定効果モデルをベースとした推定式 ◦ 介入（Cost it ）を連続変数として扱う ▪ 地域や日付によって、介入の強弱が異なるため β (Beta) 広告費1円あたりの 介入効果 Cost it 連続的な介入強度 (広告コスト) γ i 地域固定効果 地域固有の不変要因を吸収 δ t 日付固定効果 共通の時間トレンドを吸収 通常のDIDではなく、連続処置モデル採用 通常のDID 「介入あり/なし」の0/1変数 ❌予算投下量の強弱を無視 Continuous Treatment DID 介入（Cost）を連続変数として扱う。 ✅1円あたりの弾力性を推定可能 ✅日々の予算変動をモデルに組み込める
33. 結果
34. 結果の前に、、、 • 理想は女性だけに広告配信が行われて欲しい ? ? 女性ユーザー 新規登録数 事業KPI 女性向け 広告配信
35. 結果の前に、、、 • 理想は女性だけに広告配信が行われて欲しい ◦ しかし、男性にも配信されてしまっていた ? ? 女性ユーザー 新規登録数 女性向け 広告配信 事業KPI
36. 結果の前に、、、 • 理想は女性だけに広告配信が行われて欲しい ◦ しかし、男性にも配信されてしまっていた ▪ 男性経路も考慮して、女性経路の事業KPIへの効果を推定する ? ? 女性ユーザー 新規登録数 女性向け 広告配信 ? ? 男性ユーザー 新規登録数 事業KPI
37. 結果 • 複数手法で推定した総合的な結果 ◦ 二方向固定効果モデル（two-way fixed effects, TWFE） ◦ 媒介分析 ◦ など ? ? ? ? 女性ユーザー 新規登録数 女性向け 広告配信 男性ユーザー 新規登録数 事業KPI
38. 結果：女性経由で事業KPIは向上したか？ • プラスの効果✔ ◦ 「女性向け広告配信」を増やすと、 「女性ユーザー新規登録数」経由で、「事業KPI」が向上 女性ユーザー 新規登録数 女性向け 広告配信 男性ユーザー 新規登録数 事業KPI
39. 結果：男性経由で事業KPIは向上したか？ • プラスの効果✔ ◦ 「女性向け広告配信」を増やすと、 「男性ユーザー新規登録数」経由で、「事業KPI」が向上 ▪ 男性にも広告が配信されていた 女性ユーザー 新規登録数 女性向け 広告配信 男性ユーザー 新規登録数 事業KPI
40. 結果：まとめ • 全てプラスの効果 ◦ ⚠男性にも広告が配信されていた ▪ 女性向け広告配信の効果に、男性経由の効果が混入している可能性が残った 女性ユーザー 新規登録数 女性向け 広告配信 男性ユーザー 新規登録数 事業KPI
41. まとめ
42. 配信コントロールの限界 • 男性にも配信されてしまう • 日によって予算消化が偏る • 都道府県毎に偏る 実際の広告配信 「実験計画」と「実際の広告配信」に大きな乖離 • 女性をターゲティング • 毎日、一定の予算を消化 • 配信増加割合を都道府県毎に一定 実験計画
43. まとめ • 概要 ◦ 都道府県毎に介入を行うことで、 女性向け広告配信が事業KPIに与える影響を定量化 • 結果 ◦ プラスの効果 ▪ しかし、実験計画通りに 配信できなかった • 知りたかった効果に、男性の経由の効果が混入している可能性が残った • 今後 ◦ 女性経由の効果だけを推定する方法を検討 女性ユーザー 新規登録数 事業KPI 女性向け 広告配信 男性ユーザー 新規登録数