AB テストの落とし穴 / "Pitfalls" of AB test

s-dev talks #1 ( https://s-dev-talks.connpass.com/event/86035/ ) で発表した際の登壇資料です。
AB テスト実行時の注意点について話しました。

1. AB ςετͷམͱ݀͠ ΫοΫύουגࣜձࣾ ΤϯδχΞ ৽Ҫ߁ฏ
2. ࣗݾ঺հ • ৽Ҫ ߁ฏ (Twitter: SpicyCoffee66) • ΫοΫύουגࣜձࣾ • αʔόʔαΠυΤϯδχΞ • ԾઆཱͯͨΓܭଌͨ͠Γ SQL ୟ͍ͨΓ΋͢Δ
3. ʢԾઆݕূʹ͸͖ͭ΋ͷͷʣ AB ςετͷ࿩Λ͠·͢
4. Α͋͘ΔԾઆݕূ idea product data ԾઆΛ͔֬ΊΔͨΊͷ
   ϓϩμΫτΛ࡞Δ ϓϩμΫτͷ
   ར༻ঢ়گΛσʔλʹ
   σʔλΛ΋ͱʹ
   ৽ͨͳԾઆΛཱͯΔ
   Build Measure Learn
5. Ծઆݕূͱ AB ςετ • ཱͯͨԾઆΛݕূ͢ΔͨΊͷखஈͷҰͭ • Ծઆͷ࣮૷ΛϢʔβʔ͞Μʹ౰ͯͯ݁ՌΛݟΔ idea product data ͜͜ͷख๏ Build Measure Learn
6. ΈΜͳେ޷͖ AB ςετ
7. ͷ མͱ݀͠
8. Case 1
9. Case1: AB Λ௚ྻʹͭͳ͙ "#
   ςετΛ΍Γ͍͕ͨ
   ύΠ͕গͳͯ͘ݕূظ͕ؒ௕͘ͳΓͦ͏
   શମʹެ։ͯ͠
   ϦϦʔεલޙͷ਺ࣈΛൺ΂·͠ΐ͏
   
10. Case1: AB Λ௚ྻʹͭͳ͙      ϦϦʔε ਺ࣈ΋৳ͼ͍ͯΔ͠Ծઆ͕ਖ਼͔ͬͨ͠ʂ
    
11. Case1: AB Λ௚ྻʹͭͳ͙      ϦϦʔε ਺ࣈ΋৳ͼ͍ͯΔ͠Ծઆ͕ਖ਼͔ͬͨ͠ʂ
    
12. Case1: AB Λ௚ྻʹͭͳ͙ - ͳͥμϝ͔ • ϢʔβʔͷαʔϏεར༻ʹ͸ पظ΍࣌ظཁҼ ͕͋Δ • ౔೔ʹΞΫηε͕૿͑Δ • ݄຤ʹୀձऀ͕૿͑Δ • όϨϯλΠϯͷΞΫηε͕ҟৗ • ਺ࣈͷมԽ͕͜ΕΒͷཁҼʹΑΔ΋ͷͷՄೳੑ͕͋Δ
13. Case1: AB Λ௚ྻʹͭͳ͙ - Ͳ͏͢Δ΂͖͔ • ֎తཁҼΛ׬ᘳʹ೺Ѳ͢Δͷ͸ෆՄೳ • جຊతʹ͸࣌ؒΛ͔͚ͯύΠΛ֬อͨ͠ํ͕Α͍ • ͕࣌ؒ੯͍͠ঢ়گͳΒ AB ςετΛ͢Δඞཁ͕͋Δ͔Λߟ͑Δ • ଞʹ΋Ծઆݕূͷํ๏͸͋Δ
14. Case 2
15. Case2: ཁૉͷ෼ղ͕ෆे෼ τοϓϖʔδʹݕࡧཤྺ͔Βͷ͓͢͢Ί঎඼Λ
    දࣔ͢ΔΧϧʔηϧΛஔ͍ͯΈ·͠ΐ͏
         ൺֱͯ͠਺ࣈ͕͍͍͠
    ݕࡧཤྺ͔Βͷ͓͢͢Ί͸ Ձ஋͕͋Δʂ
    
16. Case2: ཁૉͷ෼ղ͕ෆे෼ τοϓϖʔδʹݕࡧཤྺ͔Βͷ͓͢͢Ί঎඼Λ
    දࣔ͢ΔΧϧʔηϧΛஔ͍ͯΈ·͠ΐ͏
         ൺֱͯ͠਺ࣈ͕͍͍͠
    ݕࡧཤྺ͔Βͷ͓͢͢Ί͸ Ձ஋͕͋Δʂ
    
17. Case2: ཁૉͷ෼ղ͕ෆे෼ - ͳͥμϝ͔ • Ϣʔβʔ͕ड͚औΔՁ஋͸େࡶ೺ʹ ػೳ ͱ ݟͤํ ʹ෼͔ΕΔ τοϓϖʔδʹݕࡧཤྺ͔Βͷ͓͢͢Ί঎඼Λ
    දࣔ͢ΔΧϧʔηϧΛஔ͍ͯΈ·͠ΐ͏
    Ձ஋ → ػೳ x ݟͤํ • ਺ࣈΛେ͖͘ಈ͔ͨ͠ͷ͸ͲͪΒͷཁૉʁ
18. Case2: ཁૉͷ෼ղ͕ෆे෼ - Ͳ͏͢Δ΂͖͔ • ҰํͷཁૉΛݻఆ ͠ɺ΋͏ҰํͷཁૉΛෳ਺༻ҙͯ͠ݕূ͢Δ • ʮݕࡧཤྺ͔Βͷ͓͢͢ΊʯΛෳ਺ͷݟͤํͰݟͤΔ AB • τοϓϖʔδʹผͷػೳΛ࣋ͭ࿮Λ༻ҙͯ͠ AB
19. Case2: ཁૉͷ෼ղ͕ෆे෼ - ݱ࣮తʹ͸ • ยํͷཁૉΛ ࣄલ஌ࣝ΍ۃ୺ͳ࣮૷ Ͱݻఆ͢Δ • Ϣʔβʔௐ͔ࠪΒधཁ͕໌֬ → ػೳ͸ݻఆͰݟͤํΛݕূ • ଟগϊΠδʔͳݟͤํͰ࣮૷͢Δ → ݟͤํ͸ݻఆͰػೳΛݕূ • ػೳ x ݟͤํ͕ηοτʹͳ͍ͬͯΔΑ͏ͳࢪࡦ͸·ͱΊͯߟ͑Δ • UI ͷվળࢪࡦͳͲ
20. Case 3
21. Case3: ͦ΋ͦ΋ෆ޲͖ Ϣʔβʔͷश׳ԽΛ֬ೝ͢ΔͨΊʹ
    "#
    Λ͍ͯ͠Δ͕
    ݕূظ͕ؒ௕͘ͳΔͷͰޮ཰͕ѱ͍ʜʜ
    αʔϏεΛ্ཱͪ͛ͨ͹͔ΓͰύΠ͕औΕͳ͍ͷͰ
    ୹ظؒͰ
    "#
    ςετ͕ճͤͳ͍ʜʜ
22. Case3: ͦ΋ͦ΋ෆ޲͖ Ϣʔβʔͷश׳ԽΛ֬ೝ͢ΔͨΊʹ
    "#
    Λ͍ͯ͠Δ͕
    ݕূظ͕ؒ௕͘ͳΔͷͰޮ཰͕ѱ͍ʜʜ
    αʔϏεΛ্ཱͪ͛ͨ͹͔ΓͰύΠ͕औΕͳ͍ͷͰ
    ୹ظؒͰ
    "#
    ςετ͕ճͤͳ͍ʜʜ
23. Case3: ͦ΋ͦ΋ෆ޲͖ - ͳͥμϝ͔ • AB ςετʹ͸޲͖ෆ޲͖͕͋Δ ޲͍ͯΔ ޲͍ͯͳ͍ ύΠ͕े෼ʹऔΕΔ
    ֬ೝ͍ͨ͠ૢ࡞͕γϯϓϧ
    ୹ظؒͰܭଌͰ͖Δࢦඪ ύΠͷ֬อ͕ࠔ೉
    ֬ೝ͍ͨ͠ૢ࡞͕ෳࡶ
    ௕ظؒͷܭଌΛલఏͱ͢Δࢦඪ
24. Case3: ͦ΋ͦ΋ෆ޲͖ - Ͳ͏͢Δ΂͖͔ • ϓϩδΣΫτʹΑͬͯղܾ๏͸ҧ͏͕…… • τοϓμ΢ϯͰʮ΍ΔʯͱܾΊΔ • ࠜڌͱͳΔ৘ใͷҰ෦Λ AB ςετͰूΊΔ͜ͱ͸Ͱ͖Δ ʢ”ࢪࡦ” Ͱ͸ͳ͘ “Ծઆ” Λݕূ͢Δʣ • ूΊͨ৘ใΛ੔ཧ্ͯ͠௕ʹ૬ஊɾผϓϩδΣΫτʹ͢Δ
25. Case3: ͦ΋ͦ΋ෆ޲͖ - Ͳ͏͢Δ΂͖͔ • AB ςετʹͩ͜ΘΒͳ͍ • ݕূํ๏͸͍Ζ͍Ζ͋ΔʢΠϯλϏϡʔ, Ξϯέʔτ, etc…ʣ • ଞͷݕূํ๏ͱ߹Θٕͤͱ͍͏ख΋͋Δ ԾઆཱҊ ϓϩτ࣮૷ Ϣʔβʔςετ ௕ظ AB ςετ 2~3 days 1 week 1 month~ ͜͜ͰؒҾ͘
26. ·ͱΊ
27. ·ͱΊ • AB ςετ͸ۜͷ஄ؙͰ͸ͳ͍ • ރΕͨख๏͔ͩΒͦ͜ࡶʹ΍Δͱ্ख͍͔͘ͳ͍ • ࣗ෼͕ࠓԿΛݕূ͍ͯ͠Δͷ͔Λৗʹ໰͍ଓ͚Δ͜ͱ • ࣌ʹ͸ AB ςετΛ͠ͳ͍ͱ͍͏બ୒ࢶ΋ॏཁ