データサイエンスをするつもりが、KPI数値算出がなーんできてないぜ！新卒1年目が配属1ヶ月で挑んだサブスクサービスのKPI数値算出タスク

Burikaigi2025の登壇資料です！
https://fortee.jp/burikaigi-2025/proposal/be784b33-e031-4dff-bfb7-646f21194778

Transcript

1. データサイエンスをするつもりが、 KPI数値算出がなーんできてないぜ！ 1 ~サブスクリプション型契約の集計の難しさ~ どすこい Burikaigi 2025
2. Table of contents • ⾃⼰紹介 • サブスク型契約の難しさ • サブスク型契約の⼤量で複雑なパターンとその対処 1. 契約と集計期間の無数のパターン 2. 新規契約のパターンの網羅 3. ⼤量な更新契約のパターン • むすび 2
3. 3 新卒1年⽬ Webエンジニア どすこい 武田 大佑 はじめての登壇でやばいです 去年の4⽉に社会⼈になって、 夏頃に事業部配属されました！ X: @doskoi64
4. 4 ゲームサーバのホスティングサービス リリースしてまだ8ヶ⽉⽬(僕の⽅が社会⼈の先輩)
5. ⾃⼰紹介 そんな、新規プロダクトにアサインされた時に挑んだ 最も⼤変だったタスクの時のお話をします... 今⽇話すこと 5
6. ⾃⼰紹介 サブスク型契約って複雑だ！ この複雑さをさらに深ぼっていって、 具体的にどのように対処したのかをおはなしします 今⽇話すこと 6
7. Table of contents • ⾃⼰紹介 • サブスク型契約の難しさ • サブスク型契約の⼤量で複雑なパターンとその対処 1. 契約と集計期間の無数のパターン 2. 新規契約のパターンの網羅 3. ⼤量な更新契約のパターン • むすび 7
8. 8 サブスク型契約の集計の難しさ
9. サブスク型契約の集計の難しさ サブスク型の契約とは ⽉額、年額など定期的にお⾦を⽀払って サービスを利⽤する契約 例: NETFLIX, Youtube プレミア, 家賃 買い切り型の契約とは ⼀回お⾦を払ったら、それでサービスを受 けられる契約 例: 弁当, 飲み物, PC, Tシャツ, 家(?) まずは⽤語説明 9 KPIとは 事業の⽬標を達成するための進捗を測る定 量的な指標 例: 売上数, 売上額, 契約数, アクセス数 🤔
10. サブスク型契約の集計の難しさ サブスク型の契約とは ⽉額、年額など定期的にお⾦を⽀払って サービスを利⽤する契約 例: NETFLIX, Youtube プレミア, 家賃 買い切り型の契約とは ⼀回お⾦を払ったら、それでサービスを受 けられる契約 例: 弁当, 飲み物, PC, Tシャツ, 家(?) まずは⽤語説明 10 KPIとは 事業の⽬標を達成するための進捗を測る定 量的な指標 例: 売上数, 売上額, 契約数, アクセス数 契約動向とは 新規契約、更新契約、解約などの契約の状 態が変わること 今回はサブスク型の契約のKPIのうち... 新規/更新契約数、解約数、有効契約数 についての話をします！ 🤔
11. サブスク型契約の集計の難しさ 説明のまえに概要を⾔っておくと... 買い切り型と⽐較して • 契約の状態遷移や過去の情報を⾒なければいけない • 契約の状態は集計期間によって変わる • 考慮すべきパターンが多い サブスク型の契約動向の集計の難しいんですよ！ 11
12. サブスク型契約の集計の難しさ 説明のまえに概要を⾔っておくと... 買い切り型と⽐較して • 契約の状態遷移や過去の情報を⾒なければいけない • 契約の状態は集計期間によって変わる • 考慮すべきパターンが多い 意外と難しいんです😭 サブスク型の契約動向の集計の難しいんですよ！ 12
13. サブスク型契約の集計の難しさ ほんまか？？ 13 🤔
14. サブスク型契約の集計の難しさ 説明の前に... 使う図の説明します！ // TODO: 丁寧に説明する ほんまか？？ 14
15. サブスク型契約の集計の難しさ 15 集計期間(端も含む) 始端 終端 新規契約期間(終端を除く) 終端 始端 更新契約期間(終端を除く) 終端 始端
16. サブスク型契約の集計の難しさ 具体例1 16 1/1 1/31 12/15 1/15 この期間での 新規契約数、解約数、有効契約数は？？ 1/20
17. サブスク型契約の集計の難しさ 具体例1 17 1/1 1/31 12/15 1/15 新規契約数: 1 解約数: 1 有効契約数: 1 注:有効契約数は集計期間終端でのものを指します！ 1/20 有効！ 解約！ 新規契 約！
18. サブスク型契約の集計の難しさ 具体例2 18 1/1 1/31 12/15 1/15 この期間での 新規契約数、更新契約数、解約数、有効契約数は？？ 1/20 1/19
19. サブスク型契約の集計の難しさ 具体例2 19 1/1 1/31 12/15 1/15 1/20 1/19 新規契約数: 1 更新契約数: 1 解約数: 1 有効契約数: 1 更新！
20. サブスク型契約の集計の難しさ (再掲) 買い切り型と⽐較して • 契約の状態遷移や過去の情報を⾒なければいけない • 契約の状態は集計期間によって変わる • 考慮すべきパターンが多い 意外と難しいんです😭 サブスク型の契約動向の集計の難しいんですよ！ 20
21. サブスク型契約の集計の難しさ KPIの数値 = 集計期間における売上数 そのまま数えればよさそう 買い切り型のKPIの数値の求める例 21
22. サブスク型契約の集計の難しさ KPIの数値 = 集計期間における売上数 そのまま数えればよさそう 買い切り型のKPIの数値の求める例 22 3個！ 3個！ 4個！
23. サブスク型契約の集計の難しさ KPIの数値 = 新規契約数、更新契約数、解約数、有効契約数 そのまま数えればよさそう..... サブスク型のKPIの数値の求める例 23
24. サブスク型契約の集計の難しさ KPIの数値 = 新規契約数、更新契約数、解約数、有効契約数 そのまま数えればよさそう.....？？？ サブスク型のKPIの数値の求める例 24 新規1, 有効1
25. サブスク型契約の集計の難しさ KPIの数値 = 新規契約数、更新契約数、解約数、有効契約数 そのまま数えればよさそう.....？？？？？？？？？？？ サブスク型のKPIの数値の求める例 25 新規1, 有効1 😇 😇
26. サブスク型契約の集計の難しさ KPIの数値 = 新規契約数、更新契約数、解約数、有効契約数 そのまま数えればよさそう.....？？？？？？？？？？？ サブスク型のKPIの数値の求める例 26 新規1, 有効1 新規1, 更新1,有効3 更新1,有効2,解約2
27. 買い切り型と⽐較して • 契約の状態遷移や過去の情報を⾒なければいけない • 契約の状態は集計期間によって変わる • 考慮すべきパターンが多い サブスク型のKPIの数値の求める例 27 サブスク型契約の集計の難しさ
28. サブスク型契約の集計の難しさ サブスク型契約って複雑だ！ ということがわかっていただけたのですが、 この複雑さをさらに深ぼっていって、 具体的にどのように対処したのかをおはなしします 今⽇話すこと 28 ↑混沌のサブスク契約に光をもたらす
29. サブスク型契約の集計の難しさ 具体例1(復習) 29 1/1 1/31 12/15 1/15 新規契約数: 1 解約数: 1 有効契約数: 1 (先ほどの図を⾒せながら⽔を⼀⼝) 1/20 有効！ 解約！ 新規契 約！
30. Table of contents • ⾃⼰紹介 • サブスク型契約の難しさ • サブスク型契約の⼤量で複雑なパターンとその対処 1. 契約と集計期間の無数のパターン 2. 新規契約のパターンの網羅 3. ⼤量な更新契約のパターン • むすび 30
31. 31 サブスク型契約の ⼤量で複雑なパターンとその対処
32. 32 1. 契約と集計期間の無数のパターン
33. 1.契約と集計期間の無数のパターン ただでさえ契約期間の選択肢がおおいのに、集計期間もいろいろとらなきゃいけない そもそも考えるパターンが多すぎる！ 多くの契約期間と集計期間 33
34. 1.契約と集計期間の無数のパターン 💡 多くの契約期間と集計期間 34
35. 1.契約と集計期間の無数のパターン 💡契約期間と集計期間、どちらか固定する！ = 単純化 多くの契約期間と集計期間 35
36. 1.契約と集計期間の無数のパターン 契約期間を固定すると... 多くの契約期間と集計期間 36
37. 1.契約と集計期間の無数のパターン 契約期間を固定すると... 多くの契約期間と集計期間 37 新規1, 有効1
38. 1.契約と集計期間の無数のパターン 契約期間を固定すると... 多くの契約期間と集計期間 38 新規2,有効2
39. 1.契約と集計期間の無数のパターン 契約期間を固定すると... 多くの契約期間と集計期間 39 新規1,更新1,有効2
40. 1.契約と集計期間の無数のパターン 契約期間を固定すると... だいぶわかりやすくなった 多くの契約期間と集計期間 40 新規2,更新1,有効3
41. 1.契約と集計期間の無数のパターン さらにもう⼀⼯夫 41
42. 1.契約と集計期間の無数のパターン あと、いったん新規契約から考える！ さらにもう⼀⼯夫 42 新規2,有効2 新規2,有効2,解約2 新規0,有効2,解約0
43. 1.契約と集計期間の無数のパターン サブスク契約のパターンが多すぎて、集計している場合じゃない... いったんまとめ 43
44. 1.契約と集計期間の無数のパターン • 契約期間を固定して、集計期間を動かす！(単純化) • まずは新規契約から集計する いったんまとめ 44 44 新規2,有効2 新規2,有効2,解約2 新規0,有効2,解約0
45. 2. 新規契約のパターンの網羅 45
46. 2. 新規契約のパターンの網羅 問題 • 新規事業なのもあって、パターンを網羅したことがなかった ◦ ”正しい”ことを証明する必要があった • ビジネスサイドとの厳密な定義の合意をする必要がある(実施したけど今 回は省略) • 集計ロジックが少し⽢かった(直したけど今回は省略) • データマイグレーションが並⾏してたので、動いてたのに壊れた(気合い でなんとかしたので省略) • ⼈⼿が⾜りなかった(気合いでなんとかしたの省略) そもそもなにしたいんだっけ？ 46
47. 2. 新規契約のパターンの網羅 最終⽬標 サブスク型契約のパターンを網羅して、 集計ロジックのテストの⼗分性を担保する じゃあつぎは網羅しよう！ 47
48. 2. 新規契約のパターンの網羅 そもそもテストってどうすればいいんだっけ？ 48
49. 2. 新規契約のパターンの網羅 境界値テストをしよう 代表的な境界値 を設定し、その前後の値もテストする そもそもテストってどうすればいいんだっけ？ 49 解約0 解約1 (境界) 解約1
50. 2. 新規契約のパターンの網羅 境界値テストをしよう 代表的な境界値 を設定し、その前後の値もテストする そもそもテストってどうすればいいんだっけ？ 50 契約の端と集計の端が重なると境界
51. 2. 新規契約のパターンの網羅 では、このような境界値はどれだけあるかな？ 51
52. 2. 新規契約のパターンの網羅 では、このような境界値はどれだけあるかな？ 52 解約0→解約1
53. 2. 新規契約のパターンの網羅 では、このような境界値はどれだけあるかな？ 53 新規0→新規1
54. 2. 新規契約のパターンの網羅 では、このような境界値はどれだけあるかな？ 54 解約1→解約0,有効1
55. 2. 新規契約のパターンの網羅 では、このような境界値はどれだけあるかな？ 55 新規1,有効1→新規0,有効0
56. 56 2. 新規契約のパターンの網羅 ４つの境界値
57. 2. 新規契約のパターンの網羅 実は⻑期契約もあるので... これで全部？ 57
58. 2. 新規契約のパターンの網羅 ちょっと数え⽅が変わります これで全部？ 58 (新規1), 解約1 →(新規1),解約0,有効0 (新規0), 解約1 →(新規0),解約0,有効0
59. 2. 新規契約のパターンの網羅 ちょっと数え⽅が変わります これで全部？ 59 有効1, 新規1 →新規0,有効0 (有効1),新規0 →(有効1),新規1
60. 2. 新規契約のパターンの網羅 まとめると 60
61. 2. 新規契約のパターンの網羅 新規契約のテストケースは 境界値とその前後: 3 境界値の数: 4 契約の⻑短: 2 なので まとめると 61
62. 2. 新規契約のパターンの網羅 新規契約のテストケースは 境界値とその前後: 3 境界値の数: 4 契約の⻑短: 2 なので 3 ✖ 4 ✖ 2 = 24 まとめると 62
63. 3. ⼤量な更新契約のパターン 63
64. 3. ⼤量な更新契約のパターン 更新契約も同じ感じでできるっしょ 新規契約もできたし 64
65. 3. ⼤量な更新契約のパターン 更新(短期)と更新(⻑期)があるので、2倍になる 新規契約もできたし 65
66. 3. ⼤量な更新契約のパターン 更新の瞬間にも境界値があるので、4→6(1.5倍)になる 新規契約もできたし 66
67. 3. ⼤量な更新契約のパターン 更新契約も同じ感じ...！？！？ 3 ✖ 6 ✖ 4 = 72 (3倍) 新規契約もできたし 67
68. 3. ⼤量な更新契約のパターン 更新契約も同じ感じ...！？！？ 3 ✖ 6 ✖ 4 = 72 (3倍) 新規契約もできたし 68
69. 3. ⼤量な更新契約のパターン 境界値を着⽬ この⼤量のパターンをどうするの？ 69
70. 3. ⼤量な更新契約のパターン 先ほどのテストでカバーしている！ この⼤量のパターンをどうするの？ 70
71. 3. ⼤量な更新契約のパターン この⼤量のパターンをどうするの？ 71
72. 3. ⼤量な更新契約のパターン 先ほどのテストでカバーしている！ この⼤量のパターンをどうするの？ 72
73. 3. ⼤量な更新契約のパターン 先ほどのテストでカバーしている！ この⼤量のパターンをどうするの？ 73
74. 3. ⼤量な更新契約のパターン 他の更新契約と同じ境界値パターンになる この⼤量のパターンをどうするの？ 74
75. 3. ⼤量な更新契約のパターン おなじ境界値のパターン 75 どちらかで考えればOK
76. 3. ⼤量な更新契約のパターン おなじ境界値のパターン 76 どちらかで考えればOK
77. 3. ⼤量な更新契約のパターン これでどれだけ減った？ 3 ✖ 6 ✖ 4 = 72 (3倍) だったのが... まとめ 77
78. 3. ⼤量な更新契約のパターン これでどれだけ減った？ 3 ✖ (6 - 2) / 2 ✖ 4 = まとめ 78
79. 3. ⼤量な更新契約のパターン これでどれだけ減った？ 3 ✖ (6 - 2) / 2 ✖ 4 = 24 新規の時と同じくらいまで減らせた まとめ 79
80. むすび 80
81. • サブスク契約のKPI数値算出は難しい • 単純化でパターンを絞ることができる • 境界値に着⽬することでパターンを網羅できる • ⼤量の境界値のパターンも、共通な部分がある サブスク型契約って複雑だ！ むすび 81
82. 82 Thank you!