Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み -
Search
Kentaro Ueda
December 01, 2020
Technology
2
1.8k
DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み -
DMM meetup#22〜DMMのプラットフォームを支える総合トップとDMM PointClub〜
(2020/11/30) にて発表した資料です
Kentaro Ueda
December 01, 2020
Tweet
Share
More Decks by Kentaro Ueda
See All by Kentaro Ueda
Redashダッシュボード・クエリ作成の時短方法
kentaroueda36
0
880
信頼性の高いRedashクエリを作る方法を考える
kentaroueda36
0
42
Other Decks in Technology
See All in Technology
250905 大吉祥寺.pm 2025 前夜祭 「プログラミングに出会って20年、『今』が1番楽しい」
msykd
PRO
1
680
Platform開発が先行する Platform Engineeringの違和感
kintotechdev
4
540
機械学習を扱うプラットフォーム開発と運用事例
lycorptech_jp
PRO
0
230
dbt開発 with Claude Codeのためのガードレール設計
10xinc
2
1.1k
Agile PBL at New Grads Trainings
kawaguti
PRO
1
390
複数サービスを支えるマルチテナント型Batch MLプラットフォーム
lycorptech_jp
PRO
0
300
AIエージェント開発用SDKとローカルLLMをLINE Botと組み合わせてみた / LINEを使ったLT大会 #14
you
PRO
0
100
テストを軸にした生き残り術
kworkdev
PRO
0
190
JTCにおける内製×スクラム開発への挑戦〜内製化率95%達成の舞台裏/JTC's challenge of in-house development with Scrum
aeonpeople
0
190
ガチな登山用デバイスからこんにちは
halka
1
230
会社紹介資料 / Sansan Company Profile
sansan33
PRO
6
380k
DDD集約とサービスコンテキスト境界との関係性
pandayumi
3
280
Featured
See All Featured
Six Lessons from altMBA
skipperchong
28
4k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
Art, The Web, and Tiny UX
lynnandtonic
302
21k
Imperfection Machines: The Place of Print at Facebook
scottboms
268
13k
Unsuck your backbone
ammeep
671
58k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.2k
Bash Introduction
62gerente
615
210k
BBQ
matthewcrist
89
9.8k
Making the Leap to Tech Lead
cromwellryan
135
9.5k
Faster Mobile Websites
deanohume
309
31k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.1k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Transcript
© DMM.com DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み - プラットフォーム事業本部 総合トップ開発部 送客グループ 2020/11/30 @DMM meetup#22〜DMMのプラットフォームを支える総合トップと
DMM PointClub〜 上田 健太郎
© DMM.com 自己紹介 1 • 2017年入社 Compass ID: KentaroUeda0138 •
19年半ばまでWebアナリストチームで データ分析を担当 • その後、送客グループに移動 • 開発〜データ分析まで広く従事 • 上田 健太郎
© DMM.com 目次 2 これからA/Bテストを始める際に 参考になりそうなお話 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割
事例紹介 (A/Bテストがなぜ重要か)
© DMM.com 目次 3 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com 総合トップの概要 4 • 40以上のサービスにユーザーを送客する、DMM 一丁目一番地のページ • 月間5,000万PV以上 ※
版権の都合上、一部画像を伏せております
© DMM.com 総合トップの役割 5
© DMM.com 目次 6 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com ABテストとは • ユーザー影響を抑えつつ施策の有効性を検証するテスト手法のひとつ 7
© DMM.com 目次 8 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com ① 商品表示UIの改善 成功例 9 • 商品画像の表示レイアウトを 横並び→縦並びに変更 •
CTR 3% 改善 → 本採用 • 背景: 4番目以降の商品が タップされていない • 低い実装コストで高いリターンが 得られた好例
© DMM.com ② 商品表示UIの改善 失敗例 • 「もっと見る」リンクの最適化 • CTR 7%
低下 → 巻き戻し • 背景: 文言が重複しており • 背景: 画面領域を無駄使いしている • サービス提供者の理想 ≠ ユーザの要求 • テスト無しの UI リニューアルの • 危険性を実感 10
© DMM.com ③ パーソナライズ施策 成功例 11 • ログインユーザ向け • 動画枠の商品をパーソナライズ
• CTR 34% 改善 • CVR 283% 改善 • 背景: 一律の商品をユーザに提示していた →本採用
© DMM.com • 当初はテストをスキップする予定だった ④ パーソナライズ施策 失敗例 12 • 非ログインユーザにも③の施策を横展開
• CTR 10% 低下 → 巻き戻し • ユーザーに警戒感を抱かせてしまった? • 対象に応じた最適化が必要
© DMM.com 実績 • CTR (商品などのクリック率) 2020年3-5月期 2020年6-8月期 100% (基準値)
105% • 売上 (総合トップ経由) 2020年3-5月期 2020年6-8月期 100% (基準値) 105% • 施策実施数 2020年3-5月期 2020年6-8月期 1件 12件 • 負債返済の成果 • 次にご紹介する取り組み の成果 13
© DMM.com 目次 14 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com ① KPIツリーを作り数値目標を立てる 15 • KPI = 目標達成度を測る指標 •
総合トップなら CTR や経由売上 • KPIをツリーに分解し、 注力すべきところを明確化する → 目標 (何を何%向上させる) 立てが容易に • 計算式を埋め込み KPI を試算 できるようにすると便利
© DMM.com ② テンプレ化 16
© DMM.com ③ 小さなテストから始め、テストに慣れる 17 • A/Bテストの実施経験が少ない場合に重要 • 序盤は小規模のテストを連続で実施 •
慣れが必要なことは多い • テスト用のリリースをどう管理するか? • 関係者にテストをどのように周知するか? A/Bテストのスケジュール例 周知例
© DMM.com 目次 18 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com まとめ 19 • 総合トップのグロースハックにはA/Bテストを活用 • 高速化の鍵 : テンプレ化・小さなテストから始め、テストに慣れる •
テスト無しの改善は危険を伴う • 精度向上の鍵: KPIツリーを作り数値目標を立てる • これからA/Bテストを始める際に参考になりそうなお話