Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Causal Impactを用いたLINE Pay UIの効果検証とABテスト実施への貢献

Causal Impactを用いたLINE Pay UIの効果検証とABテスト実施への貢献

ABテストを実施していない施策におけるCausal Impactによる効果検証と、手法や施策の限界点からABテスト実施への意思決定に貢献した過程を紹介します

LY Corporation Tech

September 27, 2024
Tweet

More Decks by LY Corporation Tech

Other Decks in Technology

Transcript

  1. 公開 © LY Corporation 2 自己紹介 名前 安藤正和 部署 DS統括本部

    5本部 分析3部ファミリーサービスチーム 主な業務 LINE PayやLINE公式アカウント(無料スタンプ)周りのデータ分析業務 近況 1年前に縁もゆかりもない札幌に引っ越した屯田兵 (居住地の変遷: 広島→大阪→群馬→東京→北海道)
  2. 公開 © LY Corporation 10 WalletタブのBalance領域 ・LINE Payの過半数が、Walletタブから利用 Balance領域 LINE

    Payのメインタッチポイント 遷移先にPay TOPがあるけど 基本的な機能はBalanceで十分 Pay TOP
  3. 公開 © LY Corporation ・Walletタブから決済画面まで1タップ ・画面の1/4程度を占有 Ver.3 12 Balance Ver.3

    ⇨ Ver.4 ・展開式になり、決済までのタップ数が増加 ・(緑になった) Ver.4 展開前→ 展開後↓
  4. 公開 © LY Corporation 14 UI変更に対するユーザーからの声 UI改悪されて泣いた レジで開いて、あれ?支払うボタンなくなってない?って戸惑った LINE Payすごく見にくくなった…。

    Wallet画面に表示されていたバーコードの階層を深くしたのは改悪 バーコードを開くのに1タップ増え、どこを操作すれば良いかわからなかった
  5. 公開 © LY Corporation 15 UI変更の結果 アイコン タップ数の変化率 決済 -13%

    チャージ -29% 送金 -39% Balance領域の主要アイコンタップ数の前後比較
  6. 公開 © LY Corporation 16 UI変更の結果 アイコン タップ数の変化率 決済 -13%

    チャージ -29% 送金 -39% Balance領域の主要アイコンタップ数の前後比較 \(^o^)/
  7. 公開 © LY Corporation 17 UI変更の結果 アイコン タップ数の変化率 決済 -13%

    チャージ -29% 送金 -39% Balance領域の主要アイコンタップ数の前後比較 \(^o^)/ UI変更前後の3日間の結果比較 →統計的に効果のあるか不明
  8. 公開 © LY Corporation ・LINE Pay側: LINE PayのKPIが著しく低下していた場合、UIの巻き戻しを検討 ・Wallet側: UIの巻き戻しは可能だが、ユーザーへの負担が少ない形を模索したい

    巻き戻す場合、LINE Payユーザーを対象に最適なUIを検証したい 事業側の意見 20 ヒアリングと分析の目的 DSのやること UI変更によるLINE PayのKPIへの効果を定量化 UIの巻き戻しの意思決定に貢献すること(なる早で)
  9. 公開 © LY Corporation ・学習期間 2022/08/01 ~ 2023/08/15 ・予測期間(Balance ver.4適用後)

    2023/08/16 ~ 2023/09/10 ・共変量 ・週周期性 ・月周期性 ・祝日 ・給料日 ・LINEポケットマネー返済日(チャージのみ) 22 Causal Impact コード決済額の予測値(青)と実測値(赤)
  10. 公開 © LY Corporation ・コード決済: - UI変更で5%程度GMV減少 ・チャージと送金: - フィッティングから信頼性は乏しい

    ・本施策の詳細な効果検証は困難: - ABテスト無し - 事前の分析準備無し 結果の要約 26 結果の報告と提案 ・UIの差し戻そう! - 1⇨2タップになったことが要因 ・UI変更に伴う効果検証や意思決 定の準備は予めしましょう! - ABテストしましょう - 準備段階からDSを交ぜて 提案
  11. 公開 © LY Corporation ・コード決済: - UI変更で5%程度GMV減少 ・チャージと送金: - フィッティングから信頼性は乏しい

    ・本施策の詳細な効果検証は困難: - ABテスト無し - 事前の分析準備無し 結果の要約 27 結果の報告と提案 ・UIの差し戻そう! - 1⇨2タップになったことが要因 ・UI変更に伴う効果検証や意思決 定の準備は予めしましょう! - ABテストしましょう - 準備段階からDSを交ぜて 提案 報告の結果…
  12. 公開 © LY Corporation ・Target User - LINE Pay登録ユーザー ・Group

    - C群: デフォルトでBalance領域が閉じた(非展開)状態 - T群: デフォルトでBalance領域を展開した状態 29 UI修正のABテストスペック C群 T群