PosthogのA/Bテスト機能の紹介

Transcript

1. 0 PosthogのA/Bテスト機能の紹介 2026-07-03 第150回NearMe技術勉強会 Ryo Omori
2. 1 なぜ今A/Bテストを導⼊するのか NearMeの検索結果画⾯では ユーザーが複数の条件を⽐較しながら ⾃分に合った移動⼿段を選ぶ必要があります。 ‧⾞種指定、ライトプラン、シェア割などの多彩なプラン ‧乗⾞時刻が⼀点ではなく、時間幅で提⽰される ‧シェアと貸切という性質の異なる移動⼿段が混在する 情報量が多く最適な⾒せ⽅に明確な正解がない。 だからこそ、A/Bテストによって 実際のユーザー⾏動を確認しながら改善する必要がある
3. 2 Posthogで何ができる？ PostHogはユーザー⾏動の計測から機能の出し分け A/Bテストの結果分析までを⼀つの環境で⾏えるプロダクト分析ツールです。 A/Bテストでは、主に次の機能を使⽤します。 Feature Flags ユーザーごとに、従来版‧改善版などの表⽰を切り替える Experiments 各パターンのユーザー⾏動を⽐較し、変更の効果を分析する Product Analytics プラン選択や予約完了などのイベントを計測する 表⽰を切り替えるだけでなく、その結果まで検証できる
4. 3 Feature Flags Flag type Boolean: true/false Multivariate: Variantsを⾃由に定義可能 Remote config: JSONなどの設定値を返す Variants ユーザーを各パターンへ振り分けます。 control：現在のリスト画⾯ test：新しいリスト画⾯ Release conditions A/Bテストの対象者を指定します。 ‧全ユーザー ‧特定のユーザー属性 ‧特定の環境や条件 ‧対象者のうち何%に配信するか
5. 4 Experiments Feature Flagで振り分けた各パターンの成果を⽐較します。 今回、以下の仮説と指標を設定します。 仮説 新しいリスト画⾯の⽅が、ユーザーがプランを選びやすい Primary metric プラン選択率（リスト画⾯を表⽰したユーザーのうち、最終確認画⾯へ遷移した割合） Secondary metric 予約完了率（リスト画⾯を表⽰したユーザーのうち、予約を完了した割合）
6. 5 Experiments > Metric Metric type Funnel ⼀定の⾏動を完了したユーザーの割合 例：リスト画⾯表⽰ → 最終確認画⾯への遷移 Mean ユーザー1⼈あたりの平均値 例：クリック回数、予約⾦額 Ratio 2つの指標の⽐率 例：予約完了数 ÷ 最終確認画⾯到達数 Retention ⼀定期間後に再度利⽤した割合
7. 6 Experiments > Metric Metric どの⾏動を計測するか 今回は、以下のイベントをMetricとして設定 ‧Primary metric: Proceed to final confirmation ‧Secondary metric: Open ride request Goal 増加‧減少のどちらを⽬指すか 今回は、どちらも Increase を設定 Conversion window どの期間内の⾏動を成果に含めるか 今回は実験に参加してから実験終了までに発⽣した⾏動を 成果として含める（PrimaryからSecondaryの時差を許容する） Step order 順番どおりに⾏動した場合だけ含めるか
8. 7 Metric：何を成果として評価するか Conversion rate Metricを達成した割合 control 18.89% / test 18.73% Delta controlと⽐べたtestの差分 -0.82% → testの⽅がわずかに低い Chance to win testがcontrolより良い可能性 40.3% → testが良いとはまだ判断できない Significant 統計的に意味のある差があるか No → 現時点では有意差なし この結果の⾒⽅ 観測値ではtestがわずかに低いが、差は⼩さく、有意差もないため、現時点では優劣を判断できない。
10. 9 Thank you