DMMにおけるABテスト検証設計の工夫

DMMでは、データアナリストがABテストの検証設計を監修し、事業の意思決定を支援しています。

本発表では、検証設計や効果検証における運用上の工夫に加え、AAテストの失敗や外れ値ユーザーによる悪影響など、検証過程で発生した課題にどう対処し、より精緻な効果検証に繋げてきたのか、実際のテスト事例と共に紹介します。

Transcript

1. © DMM © DMM DMMにおける ABテスト検証設計の工夫 白金鉱業 Meetup Vol.20 DMM.com　石村 遼汰 2025.09.18
2. © DMM 自己紹介 • 石村遼汰 • 経歴 ◦ 合同会社DMM.com ▪ 2021 ~ 2024: 動画PPVサービスのデータアナリスト ▪ 2025 ~ : 検索・レコメンドチームのデータアナリスト ◦ 一橋大学経済学研究科（非常勤研究員） ▪ 2023 ~ : 企業間取引データを用いた分析の実行支援 • 興味・関心 ◦ 統計的因果推論、ABテスト • 趣味 ◦ お笑い（劇場観に行く、ラジオ聴く、 YouTube見る） 2 X: @Xc6Da Zenn: @hanata
3. © DMM 目次 1. DMMとデータ分析組織 2. DMMにおけるABテスト概要 3. ABテスト検証設計の工夫 4. ABテスト検証設計のアップデート 3
4. © DMM 01 1. DMMとデータ分析組織 4
5. © DMM 5
6. © DMM
7. © DMM 7
8. © DMM 社内のデータ分析組織 データ戦略部・データ活用推進部が中心となってデータ分析を行う。 8 データ戦略部 事業A チーム データ活用推進部 データサイエンス グループ データスチュワード系部署 事業B チーム 検索 チーム レコメンド チーム 事業分析 グループ PF横断分析 グループ
9. © DMM 分析支援しているサービス 売上規模の大きい PPV・SVODサービスを中心に支援している。 9 • PPV（Pay Per View） ◦ DMMブックス、DMM通販など • SVOD（Subscription Video on Demand） ◦ DMM TVなど
10. © DMM 部署の紹介 - データ戦略部（事業分析 G） データドリブンな意思決定支援、施策立案による事業貢献を目指す。 10 • 担当事業ごとにチームが別れており、2名程度のアナリストがアサインされる。 • 統計的因果推論を活用しながら、重要かつ抽象度の高い問いを中心にデータ分析で示唆 を出す。
11. © DMM 部署の紹介 - データサイエンスグループ 検索・レコメンドの精度改善を通じた事業貢献を目指す。 11 • 検索・レコメンド2チームに分かれる。 • データサイエンティストがモデル開発・運用を実施する。
12. © DMM 今日の目的 ABテストの事例を共有することで、「よりよい検証」を議論したい。 12 • ABテストは因果効果を測る黄金律だが、運用するのは容易ではない。 • 会社・チーム・扱うデータによってベターな検証設計は異なるはず。 • この発表をもとに、各社の ABテストの運用方法や検証設計の工夫点などを話すことで、 お互いの知見を深めたい。 （＠懇親会）
13. © DMM 02 2. DMMにおけるABテスト概要 13
14. © DMM ABテストの活用状況 データ戦略部・データサイエンスグループが 1 ~ 3本/月実施している。 14 • データ戦略部の実施施策 ◦ サイト内UI/UX改善 ◦ マーケティング施策 ▪ ポイント / クーポン配布による LTV最大化 ▪ サービス間の相互送客施策 • データサイエンスグループの実施施策 ◦ 検索・レコメンドのロジック改善 ▪ 購買済み商品の除外 ▪ リアルタイム推論の導入 • 実験成熟度モデルにおけるクロール ~ ウォークフェーズにあたる。 フェーズ ABテスト実施頻度 クロールフェーズ 1回/月（10回/年） ウォークフェーズ 1回/週（50回/年） ランフェーズ 1回/日（250回/年） フライフェーズ 1,000回/年
15. © DMM ABテストの目的 施策効果の精緻な計測に加えて、重要仮説の検証を目的とする。 15 • リソースが限られているため、施策立案段階で売上リフトの大きさや仮説の重要度を鑑み て施策の優先度が決定される。 ◦ 󰢃 細かな改善のテストを沢山実施して何でもABテストで検証する。 ◦ 󰢏 得られるリターンの大きい仮説を精度高く検証していく。 • 1回のテストで質の高い意思決定に繋げるべく、検証設計のアップデートを行うことで検 証精度を高めてきた。
16. © DMM ABテストの流れ DS・DAが施策提案から効果検証まで一気通貫で対応する。 16 施策立案 検証設計 開発 AAテスト 効果検証
17. © DMM 03 3. ABテスト検証設計の工夫 17
18. © DMM 検証設計の工夫点 ABテストにおける細かなこだわりポイントを紹介。 18 1. 交互作用を考慮したスケジュール調整。 2. 全体KPIを見て部分最適を避ける。 3. 有意差検定に拘らない。 施策立案 検証設計 開発 AAテスト 効果検証
19. © DMM tips①：交互作用を考慮したスケジュール調整 余計な交互作用が発生しないよう、テストスケジュールを決定する。 19 • 稀にABテストの実施対象の場所が被ってしまうことがある。 ◦ e.g. 検索のロジック改善と検索結果ページの UI改善 • （分析）技術的には、並列して複数のテストを実施しても効果検証は可能。 ◦ 適切にAAテストを実施し、交互作用を考慮した分析を行う。 • ABテストの実施本数が多くないため、時期をずらして施策を実施している。 ◦ 余計な交互作用が発生しない状況を作り出して、分析工数を小さくする。 • 改善箇所が被らない場合は、原則テストスケジュールを調整せずに実施する。
20. © DMM tips①：交互作用を考慮したスケジュール調整 改善箇所が被る場合は時期をずらしてテストを実施する。 • e.g. 検索ロジック改善と検索結果の商品枠UI変更 20
21. © DMM tips①：交互作用を考慮したスケジュール調整 改善箇所が被らない場合は（原則）時期を気にせずにテスト実施。 • e.g. トップページのレコメンドロジック改善と検索ロジック改善 21
22. © DMM tips②：全体KPIを見て部分最適を避ける。 改善箇所の利用に関する KPIに加えて、全体 KPIを計測する。 22 • 改善箇所のKPIを計測するのは自然な発想である。 ◦ e.g. レコメンドロジック改善であればレコメンドのクリック・経由売上を計測する。 • 我々のミッションは全体売上を改善することである。 ◦ 󰢃 レコメンドの売上を上げる。 ◦ 󰢏 レコメンドの改善を通じて全体の売上リフトに貢献する。 • 全体KPIを見て意思決定を行うことで、部分最適やカニバリゼーションが起きた施策のロー ンチを避けている。
23. © DMM tips②：全体KPIを見て部分最適を避ける。 カニバリゼーションの発生により施策のローンチを見送った例。 23 • SPの商品詳細ページ設置レコメンドを、ページ上部に設置するABテスト。 ◦ SPでは商品説明やレビューの画面占有率が高く、レコメンドに到達するまでに距離があった。 • レコメンドのクリック/経由売上は大きく増加したものの、全体ARPUは変化なし。 ◦ 他の経路とカニバリゼーションが発生。全体 ARPUリフトがないため、施策はローンチせず。 購買ボタン 作品情報 商品画像 レビュー レコメンド 購買ボタン レコメンド 商品画像 作品情報 レビュー
24. © DMM tips③：有意差検定に拘らない p値だけ見て機械的な意思決定を行わない。 24 • 有意水準5%で仮説検定を行っているものの、厳密な運用にはなっていない。 ◦ 教科書的にはp=0.06であれば有意差なしとして施策をローンチすべきではない。 ◦ ビジネス的に言えば p=0.04もp=0.06も大差なく、どちらも差があると言えることがほとんど。 • ABテストの目的は手続きを守ることではない。 ◦ 󰢃 手続きを重視して施策のローンチを厳しくする ◦ 󰢏 ネガティブじゃない かつ 意義ある施策は積極的に Goサインを出したい • 複数のKPIの時系列推移を見て判断すれば、誤った意思決定は避けられる（と信じてい る）。 • 施策の実施本数が多くないので、機械的な判断に固執する必要はない。
25. © DMM tips③：有意差検定に拘らない p>0.05で有意差なしだったが、総合的な判断でローンチした例。 25 • 検索結果からネガティブジャンル作品を除外する検索ロジック変更のABテスト。 ◦ ネガティブジャンル：ユーザーが苦手とする /無関心なジャンル • メインKPIである全体ARPU（来訪UUあたり全体売上）は p=0.11だった。 • ARPUの時系列推移から効果がありそうなこと、元々事業部から要望があった施策だった ことからローンチを決定。
26. © DMM 04 4. ABテスト検証設計のアップデート 26
27. © DMM 検証設計のアップデート チーム設立時から利用されていた検証設計に対して 2点修正を実施。 27 1. 外れ値ユーザーの除去 2. 分析単位の変更 施策立案 検証設計 開発 AAテスト 効果検証
28. © DMM 変更点①: 外れ値ユーザーの除去 実績あるUI改善施策の ABテストがきっかけだった。 28 • 商品詳細ページのレコメンドに関するUIの変更を実施。 ◦ 商品の推薦件数を20件 → 40件に増やす施策。 ◦ 他サービスでは既に売上リフトの実績がある施策。
29. © DMM 変更点①: 外れ値ユーザーの除去 大量購買ユーザーのブレで売上リフトがマイナスと算出された。 29 • 効果測定を行うとARPUリフトがマイナスと算出された。 • セグメントごとにテスト期間の売上差を調べると、大量購買ユーザーが原因。
30. © DMM 変更点①: 外れ値ユーザーの除去 AAテスト時点での大量購買ユーザーを除外することで対応。 30 • 除外による売上毀損のリスクもゼロではないものの、「大多数のユーザーの利便性を向 上させたい」という思想を事業部と再確認。 • AAテスト時点で大量購買を行うユーザーを除外する処理を追加。 • 以降、外れ値ユーザーに悩まされることが減った。
31. © DMM 変更点②：分析単位の変更 一部の指標で AAテストが失敗しやすいケースが発生。 31 • 施策の割り振りはAAテストに基づいて実施している。 ◦ テスト直前におけるログデータに対して、ランダムに分割して有意差検定を実施、有意差がない分割 方法を選択する。 • 一部指標ではAAテストが失敗しやすいケースが発生した。 • p値の分布を確認すると、偏りが発生していることが分かった 。
32. © DMM 変更点②：分析単位の変更 分析単位とランダム化単位が異なっているのが原因だった。 32 • ユーザー割り振りはユーザーIDをハッシュ化した値に基づいて実施。 • 各KPIはセッション単位で定義・算出されていた。 ◦ ログに占めるヘビーユーザーの割合が大きい状況。 ユーザーA セッション数: 14 売上: 4,000円 ユーザーB セッション数: 1 売上: 2,000円 セッション単位 ARPU: 400円 (4,000 + 2,000) / (14 + 1) ユーザー単位 ARPU: 3,000円 (4,000 + 2,000) / 2
33. © DMM 変更点②：分析単位の変更 分析単位をユーザー単位に変更することで対応。 33 • 記事を参考にデルタ法なども検討したが、ユーザー単位での分析を採用した 。 ◦ メンバーのスキルセットに差がある状況で、デルタ法を採用し運用するのは困難と判断。 ◦ 参考：なぜあなたのA/Bテストはうまくいくのか？ A/Bテストの分析で注意すること
34. © DMM まとめ • DMMにおけるABテストの活用事例を検証設計を中心に紹介した。 • 先人の作り上げた検証設計や運用方法に感謝しながらも、細かな検証設計のアップデート を行うことで、意思決定の質を高めている。 • テストの実施頻度が多くないため、汎用化した検証設計やルールをベースにしつつ、個別 の施策である程度柔軟に対応して意思決定を行っている。 34
35. © DMM 宣伝 データサイエンティスト・データアナリスト募集中です！ 35 • カジュアル面談から可能です󰢏 応募お待ちしております。 データサイエンティスト （データサイエンスグループ） データアナリスト （データ戦略部）
36. © DMM ご清聴ありがとうございました