Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AB テストの落とし穴 / "Pitfalls" of AB test

AB テストの落とし穴 / "Pitfalls" of AB test

s-dev talks #1 ( https://s-dev-talks.connpass.com/event/86035/ ) で発表した際の登壇資料です。
AB テスト実行時の注意点について話しました。

Kohei Arai

May 17, 2018
Tweet

More Decks by Kohei Arai

Other Decks in How-to & DIY

Transcript

  1. Case1: AB Λ௚ྻʹͭͳ͙ - ͳͥμϝ͔ • ϢʔβʔͷαʔϏεར༻ʹ͸ पظ΍࣌ظཁҼ ͕͋Δ •

    ౔೔ʹΞΫηε͕૿͑Δ • ݄຤ʹୀձऀ͕૿͑Δ • όϨϯλΠϯͷΞΫηε͕ҟৗ • ਺ࣈͷมԽ͕͜ΕΒͷཁҼʹΑΔ΋ͷͷՄೳੑ͕͋Δ
  2. Case1: AB Λ௚ྻʹͭͳ͙ - Ͳ͏͢Δ΂͖͔ • ֎తཁҼΛ׬ᘳʹ೺Ѳ͢Δͷ͸ෆՄೳ • جຊతʹ͸࣌ؒΛ͔͚ͯύΠΛ֬อͨ͠ํ͕Α͍ •

    ͕࣌ؒ੯͍͠ঢ়گͳΒ AB ςετΛ͢Δඞཁ͕͋Δ͔Λߟ͑Δ • ଞʹ΋Ծઆݕূͷํ๏͸͋Δ
  3. Case2: ཁૉͷ෼ղ͕ෆे෼ - ͳͥμϝ͔ • Ϣʔβʔ͕ड͚औΔՁ஋͸େࡶ೺ʹ ػೳ ͱ ݟͤํ ʹ෼͔ΕΔ

    τοϓϖʔδʹݕࡧཤྺ͔Βͷ͓͢͢Ί঎඼Λ දࣔ͢ΔΧϧʔηϧΛஔ͍ͯΈ·͠ΐ͏ Ձ஋ → ػೳ x ݟͤํ • ਺ࣈΛେ͖͘ಈ͔ͨ͠ͷ͸ͲͪΒͷཁૉʁ
  4. Case2: ཁૉͷ෼ղ͕ෆे෼ - ݱ࣮తʹ͸ • ยํͷཁૉΛ ࣄલ஌ࣝ΍ۃ୺ͳ࣮૷ Ͱݻఆ͢Δ • Ϣʔβʔௐ͔ࠪΒधཁ͕໌֬

    → ػೳ͸ݻఆͰݟͤํΛݕূ • ଟগϊΠδʔͳݟͤํͰ࣮૷͢Δ → ݟͤํ͸ݻఆͰػೳΛݕূ • ػೳ x ݟͤํ͕ηοτʹͳ͍ͬͯΔΑ͏ͳࢪࡦ͸·ͱΊͯߟ͑Δ • UI ͷվળࢪࡦͳͲ
  5. Case3: ͦ΋ͦ΋ෆ޲͖ - ͳͥμϝ͔ • AB ςετʹ͸޲͖ෆ޲͖͕͋Δ ޲͍ͯΔ ޲͍ͯͳ͍ ύΠ͕े෼ʹऔΕΔ

    ֬ೝ͍ͨ͠ૢ࡞͕γϯϓϧ ୹ظؒͰܭଌͰ͖Δࢦඪ ύΠͷ֬อ͕ࠔ೉ ֬ೝ͍ͨ͠ૢ࡞͕ෳࡶ ௕ظؒͷܭଌΛલఏͱ͢Δࢦඪ
  6. Case3: ͦ΋ͦ΋ෆ޲͖ - Ͳ͏͢Δ΂͖͔ • ϓϩδΣΫτʹΑͬͯղܾ๏͸ҧ͏͕…… • τοϓμ΢ϯͰʮ΍ΔʯͱܾΊΔ • ࠜڌͱͳΔ৘ใͷҰ෦Λ

    AB ςετͰूΊΔ͜ͱ͸Ͱ͖Δ ʢ”ࢪࡦ” Ͱ͸ͳ͘ “Ծઆ” Λݕূ͢Δʣ • ूΊͨ৘ใΛ੔ཧ্ͯ͠௕ʹ૬ஊɾผϓϩδΣΫτʹ͢Δ
  7. Case3: ͦ΋ͦ΋ෆ޲͖ - Ͳ͏͢Δ΂͖͔ • AB ςετʹͩ͜ΘΒͳ͍ • ݕূํ๏͸͍Ζ͍Ζ͋ΔʢΠϯλϏϡʔ, Ξϯέʔτ,

    etc…ʣ • ଞͷݕূํ๏ͱ߹Θٕͤͱ͍͏ख΋͋Δ ԾઆཱҊ ϓϩτ࣮૷ Ϣʔβʔςετ ௕ظ AB ςετ 2~3 days 1 week 1 month~ ͜͜ͰؒҾ͘