Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Causal Impactを用いたLINE Pay UIの効果検証とABテスト実施への貢献
Search
LINEヤフーTech (LY Corporation Tech)
PRO
September 27, 2024
Technology
3
1.1k
Causal Impactを用いたLINE Pay UIの効果検証とABテスト実施への貢献
ABテストを実施していない施策におけるCausal Impactによる効果検証と、手法や施策の限界点からABテスト実施への意思決定に貢献した過程を紹介します
LINEヤフーTech (LY Corporation Tech)
PRO
September 27, 2024
Tweet
Share
More Decks by LINEヤフーTech (LY Corporation Tech)
See All by LINEヤフーTech (LY Corporation Tech)
"LINE Planet" and AI: Conversations with AI
lycorptech_jp
PRO
0
18
Seamless inventory management with AI
lycorptech_jp
PRO
0
11
AI Frontiers Revealed: Transforming LINE Shopping TW with LLM-Driven Product Attribute Extraction
lycorptech_jp
PRO
0
21
LINEヤフーの音声AIがもたらす未来:ASR/TTSと対話技術の新たな可能性 / LY Corporation's Speech AI Vision: Towards Realtime Spoken Dialogue through Advanced ASR and TTS
lycorptech_jp
PRO
0
24
「Yahoo!検索」におけるWebパフォーマンス改善の取り組み / Efforts to Improve Web Performance in "Yahoo! JAPAN Search"
lycorptech_jp
PRO
0
30
アクセシビリティ改善の実践:プロダクトにおける具体的な取り組みと課題 / Practices for Accessibility Improvement: Specific Efforts and Challenges in Products
lycorptech_jp
PRO
0
30
「PayPayゲートウェイ」におけるStorybook活用事例 / Introducing Storybook: Enhancing Development in "PayPay Gateway"
lycorptech_jp
PRO
0
15
数字が導く洞察:Webパフォーマンスとビジネス指標の相関を探る / Insights Driven by Numbers: Exploring the Correlation Between Web Performance and Business Metrics
lycorptech_jp
PRO
0
40
Speculation Rules APIを用いたページ・広告表示の高速化によるメディア・広告KPIの改善への取り組み / Efforts to Improve Media and Advertising KPIs by Speeding Up Page and Ad Display Using Speculation Rules API
lycorptech_jp
PRO
0
42
Other Decks in Technology
See All in Technology
Amazon Bedrockで実現する 新たな学習体験
kzkmaeda
2
650
高速なプロダクト開発を実現、創業期から掲げるエンタープライズアーキテクチャ
kawauso
1
120
KubeCon + CloudNativeCon Japan 2025 Recap Opening & Choose Your Own Adventureシリーズまとめ
mmmatsuda
0
230
2025-06-26_Lightning_Talk_for_Lightning_Talks
_hashimo2
2
110
BrainPadプログラミングコンテスト記念LT会2025_社内イベント&問題解説
brainpadpr
1
170
解析の定理証明実践@Lean 4
dec9ue
1
190
プロダクトエンジニアリング組織への歩み、その現在地 / Our journey to becoming a product engineering organization
hiro_torii
0
130
Lambda Web Adapterについて自分なりに理解してみた
smt7174
5
130
KubeCon + CloudNativeCon Japan 2025 Recap
ren510dev
1
290
CI/CD/IaC 久々に0から環境を作ったらこうなりました
kaz29
1
200
強化されたAmazon Location Serviceによる新機能と開発者体験
dayjournal
3
230
PHPでWebブラウザのレンダリングエンジンを実装する
dip_tech
PRO
0
210
Featured
See All Featured
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
680
Code Review Best Practice
trishagee
69
18k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
A designer walks into a library…
pauljervisheath
207
24k
Become a Pro
speakerdeck
PRO
28
5.4k
A Modern Web Designer's Workflow
chriscoyier
694
190k
Faster Mobile Websites
deanohume
307
31k
Fireside Chat
paigeccino
37
3.5k
Done Done
chrislema
184
16k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.8k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Transcript
公開 © LY Corporation ファミリーサービスチーム 安藤 正和 Causal Impactを用いた LINE
Pay UIの効果検証と ABテスト実施への貢献
公開 © LY Corporation 2 自己紹介 名前 安藤正和 部署 DS統括本部
5本部 分析3部ファミリーサービスチーム 主な業務 LINE PayやLINE公式アカウント(無料スタンプ)周りのデータ分析業務 近況 1年前に縁もゆかりもない札幌に引っ越した屯田兵 (居住地の変遷: 広島→大阪→群馬→東京→北海道)
公開 © LY Corporation Agenda 01 LINE Pay概要 02 Balance領域のUI変更
03 効果検証 04 まとめ 3
公開 © LY Corporation 01: LINE Pay概要 4
公開 © LY Corporation 5 LINE Payとは ・2014/12にリリースされたLINEのモバイル送金・決済サービス
公開 © LY Corporation
公開 © LY Corporation 7 そしてサ終へ
公開 © LY Corporation 8 LINE Payの足跡 LINEプリペイドカード マイカラー制度 300億円祭
※QRコード決済初
公開 © LY Corporation 02: Balance領域のUI変更 9
公開 © LY Corporation 10 WalletタブのBalance領域 ・LINE Payの過半数が、Walletタブから利用 Balance領域 LINE
Payのメインタッチポイント 遷移先にPay TOPがあるけど 基本的な機能はBalanceで十分 Pay TOP
公開 © LY Corporation 11 Walletタブの開発 ・Walletの部署が管轄しており、LINEヤフーとして全体最適を目指したい LINE Pay以外のサービス達 ・Pointクラブ
・マイカード ・ギフト ・クーポン (ライバルがひしめく頼もしい仲間が多いWalletタブ)
公開 © LY Corporation ・Walletタブから決済画面まで1タップ ・画面の1/4程度を占有 Ver.3 12 Balance Ver.3
⇨ Ver.4 ・展開式になり、決済までのタップ数が増加 ・(緑になった) Ver.4 展開前→ 展開後↓
公開 © LY Corporation 13 100%中の100%展開されたUI変更 迅速な意思決定 ABテストモジュールがない (この時点で分析チームはUI変更のことを知らず)
公開 © LY Corporation 14 UI変更に対するユーザーからの声 UI改悪されて泣いた レジで開いて、あれ?支払うボタンなくなってない?って戸惑った LINE Payすごく見にくくなった…。
Wallet画面に表示されていたバーコードの階層を深くしたのは改悪 バーコードを開くのに1タップ増え、どこを操作すれば良いかわからなかった
公開 © LY Corporation 15 UI変更の結果 アイコン タップ数の変化率 決済 -13%
チャージ -29% 送金 -39% Balance領域の主要アイコンタップ数の前後比較
公開 © LY Corporation 16 UI変更の結果 アイコン タップ数の変化率 決済 -13%
チャージ -29% 送金 -39% Balance領域の主要アイコンタップ数の前後比較 \(^o^)/
公開 © LY Corporation 17 UI変更の結果 アイコン タップ数の変化率 決済 -13%
チャージ -29% 送金 -39% Balance領域の主要アイコンタップ数の前後比較 \(^o^)/ UI変更前後の3日間の結果比較 →統計的に効果のあるか不明
公開 © LY Corporation 18 そして、分析依頼へ
公開 © LY Corporation 03: 効果検証 19
公開 © LY Corporation ・LINE Pay側: LINE PayのKPIが著しく低下していた場合、UIの巻き戻しを検討 ・Wallet側: UIの巻き戻しは可能だが、ユーザーへの負担が少ない形を模索したい
巻き戻す場合、LINE Payユーザーを対象に最適なUIを検証したい 事業側の意見 20 ヒアリングと分析の目的 DSのやること UI変更によるLINE PayのKPIへの効果を定量化 UIの巻き戻しの意思決定に貢献すること(なる早で)
公開 © LY Corporation ・分析手法 Causal Impact(以下,CI)によるKPI予測値と実測値の差分比較 ・目的変数(KPI) コード決済額 チャージ額
送金額 21 分析デザイン
公開 © LY Corporation ・学習期間 2022/08/01 ~ 2023/08/15 ・予測期間(Balance ver.4適用後)
2023/08/16 ~ 2023/09/10 ・共変量 ・週周期性 ・月周期性 ・祝日 ・給料日 ・LINEポケットマネー返済日(チャージのみ) 22 Causal Impact コード決済額の予測値(青)と実測値(赤)
公開 © LY Corporation ・時系列モデルの予測値と実測値の差分つ かって因果効果を推定する手法 ・CIを使う上での注意点 ・施策前後で共変量の分布が変化していないこと (共変量シフト) ・施策後に目的変数に影響を与える要因(施策など)
がないこと 23 Causal Impact概要 コード決済額の予測値(青)と実測値(赤) 参考文献
公開 © LY Corporation ・コード決済額は-5% ・チャージと送金は効果がなさそう ※1%未満の効果を検出できるとは思えない 24 分析結果 KPI
リフト値 コード決済額 -5.29% チャージ額 -0.893% 送金額 +0.020% CIによる推定結果
公開 © LY Corporation 25 限界点: 予測モデルの適合度 イベントを上手く 予測できていない チャージ取引額
送金取引額 そもそも上手く 当てはまっていない
公開 © LY Corporation ・コード決済: - UI変更で5%程度GMV減少 ・チャージと送金: - フィッティングから信頼性は乏しい
・本施策の詳細な効果検証は困難: - ABテスト無し - 事前の分析準備無し 結果の要約 26 結果の報告と提案 ・UIの差し戻そう! - 1⇨2タップになったことが要因 ・UI変更に伴う効果検証や意思決 定の準備は予めしましょう! - ABテストしましょう - 準備段階からDSを交ぜて 提案
公開 © LY Corporation ・コード決済: - UI変更で5%程度GMV減少 ・チャージと送金: - フィッティングから信頼性は乏しい
・本施策の詳細な効果検証は困難: - ABテスト無し - 事前の分析準備無し 結果の要約 27 結果の報告と提案 ・UIの差し戻そう! - 1⇨2タップになったことが要因 ・UI変更に伴う効果検証や意思決 定の準備は予めしましょう! - ABテストしましょう - 準備段階からDSを交ぜて 提案 報告の結果…
公開 © LY Corporation 28 Balance UIの修正にABテスト実施!!
公開 © LY Corporation ・Target User - LINE Pay登録ユーザー ・Group
- C群: デフォルトでBalance領域が閉じた(非展開)状態 - T群: デフォルトでBalance領域を展開した状態 29 UI修正のABテストスペック C群 T群
公開 © LY Corporation 04: まとめ 30
公開 © LY Corporation 1. walletタブのBalance領域のUI変更が100%でリリースされた 2. ABテストされていなかったため、CIによる効果検証を行った 3. 仕様変更によって、コード決済額は明らかに低下していた
4. 分析結果と限界点も報告することで、UI修正のABテスト実施に貢献出来た 31 まとめ
公開 © LY Corporation ・分析で分からなかったことも報告したことでABテスト実施に貢献出来た - CIのコード決済額の結果だけ共有したら、ABテストにつながっていなかったかも - フィッティングや分析手法の限界点を材料に交渉できた ・ユーザーの声も報告することで、結果の納得感を高めることが出来た
- 数値だけでは分からない事業側にある仮説を補強するアイテムとしてVoCは有効 (ユーザーの声は面白いし、勉強になるので毎週読んでる) 32 今回の学び(良かった点)
社外秘情報 © LY Corporation Thank you!!
公開 © LY Corporation ・展開UI群と非展開UI群でコード決済額に有意差なし ・新規ユーザーに絞っても有意差ない ・コード決済額自体はv4リリースから下がったまま ・UI以外の要因が影響していそう ・v4のリリースから4ヶ月以上経過 →非展開のUIのままでGo!!
34 Appendix: Balance UI修正ABテスト コード決済額の累積推移 青: 非展開群, 緑: 展開群