ウェブ最適化からはじめる機械学習 3章

「ウェブ最適化からはじめる機械学習」輪講会で発表した資料です。

Transcript

1. XX University ウェブ最適化からはじめる機械学習 3章 2021.3.30 Abeta
2. 2 4つのデザインによるA/Bテスト 4種のデザインのパターンでコンバージョンを測定。 詳しく⾒る 今すぐ購⼊ 詳しく⾒る 今すぐ購⼊ ヒーロー画像 ボタン 表⽰回数 クリック数 クリック率 A 商品イメージ 今すぐ購⼊ 434 8 1.84% B 商品イメージ 詳しく⾒る 382 17 4.45% C サンプル写真 今すぐ購⼊ 394 10 2.54% D サンプル写真 詳しく⾒る 88 4 4.55% A B C D
3. 3 ベイズ推定によるクリック率推定 B、D案が良さそう。 ヒーロー画像 ボタン 表⽰回数 クリック数 クリック率 A 商品イメージ 今すぐ購⼊ 434 8 1.84% B 商品イメージ 詳しく⾒る 382 17 4.45% C サンプル写真 今すぐ購⼊ 394 10 2.54% D サンプル写真 詳しく⾒る 88 4 4.55% A C B D
4. 4 効果分析 ボタンと画像がどれくらい影響しているのか？データの⽣成過程をモデリングする。 𝛼 𝛽! 𝛽" ベースライン 画像の効果 ボタンの効果 ∼ ∼ ∼ ?! = 𝜃 ∼ 𝑎 表⽰回数𝑁 ⼆項分布 クリック数 ?" ?𝟐 分布のモデリング ?" ?" 効果を結合する関数 ?𝟏 のモデリング
5. 5 関数のモデリング 効果を線形結合し、ロジット関数でモデリングする。 ヒーロー画像 ボタン 表⽰回数 クリック数 クリック率 A 商品イメージ 今すぐ購⼊ 434 8 1.84% B 商品イメージ 詳しく⾒る 382 17 4.45% C サンプル写真 今すぐ購⼊ 394 10 2.54% D サンプル写真 詳しく⾒る 88 4 4.55% 𝒙𝟏 𝒙𝟐 𝑵 𝒂 𝒂/𝑵 A 0 0 434 8 0.0184 B 0 1 382 17 0.0445 C 1 0 394 10 0.0254 D 1 1 88 4 0.0455 ダミー変数化 𝜃 = Logistic 𝛼 + 𝛽! 𝑥! + 𝛽" 𝑥" Logistic 𝑥 = 1 1 + 𝑒%& 関数のモデリング
6. 6 分布のモデリング 連続分布で正負の値をとり、広い値域をとれる分布として正規分布を利⽤する。 事前分布の分散のを⼤きく設定すれば、広い値をとることを許容できる。
7. 7 統計モデル 最終的な統計モデル。 𝛼 𝛽! 𝛽" ベースライン 画像の効果 ボタンの効果 ∼ ∼ ∼ Logistic 𝛼 + 𝛽!𝑥! + 𝛽"𝑥" = 𝜃 ∼ 𝑎 表⽰回数𝑁 ⼆項分布 クリック数 𝒩(𝜇2 , 𝜎2 ) 𝒩(𝜇! , 𝜎! ) 𝒩(𝜇" , 𝜎" )
8. 8 統計モデルの推定結果 ヒーロ画像とボタンそれぞれの効果を評価できた。HDI区間は狭くなっている。 𝛽! 𝛽"
9. 9 新たなデータに対する推定 ボタンの効果が低くなっている。 𝒙𝟏 𝒙𝟐 𝑵 𝒂 𝒂/𝑵 A 0 0 434 8 0.0184 B 0 1 382 17 0.0445 C 1 0 394 10 0.0254 D 1 1 412 4 0.0194 𝛽! 𝛽"
10. 10 交互作⽤の追加 交互作⽤を追加してモデルを変更する。 𝛼 𝛽! 𝛽" ベースライン 画像の効果 ボタンの効果 ∼ ∼ ∼ Logistic 𝛼 + 𝛽!𝑥! + 𝛽"𝑥" + 𝜸𝒙𝟏𝒙𝟐 = 𝜃 ∼ 𝑎 表⽰回数𝑁 ⼆項分布 クリック数 𝒩(𝜇2 , 𝜎2 ) 𝒩(𝜇! , 𝜎! ) 𝒩(𝜇" , 𝜎" ) 𝜸 交互作⽤の効果 ∼ 𝓝(𝝁𝟑 , 𝝈𝟑 ) 主効果
11. 11 新たなモデルによる推定 ボタンの効果と交互作⽤の効果が認められる。 𝛽! 𝛽" 詳しく⾒る 今すぐ購⼊ 詳しく⾒る 今すぐ購⼊ A B C D 何を詳しく⾒るのか 分かりにくい 「今すぐ購⼊」より もハードルが低い
12. 12 で、どのモデルを選べばいいの？ 交互作⽤が多すぎても解釈しにくい。相関がある項を導⼊すると推定が不安定になる。 したがってシンプルなモデルからスタートし、可視化をしつつモデルに変数を加えていくのがよい。 定量的にモデルを評価するにはWAIC（widely applicable information criterion, Watanabe-Akaike information criterion ）という指標を使⽤する。 𝜽の⾯ WAIC = 3.9 WAIC = 2.1
13. 13 （おまけ）AIC 真の分布：𝑞(𝑥) 確率モデル：𝑝(𝑥|𝑤) 予測分布： 𝑝 𝑥 * 𝑤 , * 𝑤は最尤推定量。 汎化損失：𝐿(* 𝑤) = −∫ 𝑑𝑥 𝑞 𝑥 log 𝑝(𝑥|* 𝑤) ← 知りたいもの （カルバック・ライブラ−情報量： 𝐾𝐿 = ∫ 𝑑𝑥 𝑞 𝑥 log " # $ 𝑥 * 𝑤 = ∫ 𝑑𝑥 𝑞 𝑥 log 𝑞 𝑥 + 𝐺% ） 経験対数損失関数： 𝐿(* 𝑤) = − ! % ∑&'! % log 𝑝 𝑋& * 𝑤 経験対数損失関数と汎化損失の間にはバイアスがある。 AIC = − 1 𝑛 < &'! % log 𝑝 𝑋& * 𝑤 + 𝑑 𝑛 , E AIC = E 𝐿 * 𝑤 + 𝜊 1 𝑛 ただし、AICは事後分布が正規分布で近似できることを仮定している。
14. 14 （おまけ）WAIC 真の分布：𝑞(𝑥) 確率モデル：𝑝(𝑥|𝑤) 予測分布： 𝑝 𝑥 𝑋% = ∫ 𝑑𝑤 𝑝 𝑥 𝑤 𝑝 𝑤 𝑋% , 𝑋% = (𝑋! , 𝑋( , 𝑋) , … , 𝑋% )はサンプル 汎化損失：𝐺% = −∫ 𝑑𝑥 𝑞 𝑥 log 𝑝(𝑥|𝑋%) ← 知りたいもの （カルバック・ライブラ−情報量： 𝐾𝐿 = ∫ 𝑑𝑥 𝑞 𝑥 log " # $ 𝑥 𝑋% = ∫ 𝑑𝑥 𝑞 𝑥 log 𝑞 𝑥 + 𝐺） 経験損失： 𝑇% = − ! % ∑&'! % log 𝑝 𝑋& 𝑋% 汎関数分散： 𝑉 % = ∑&'! % ∫ 𝑑𝑤 log 𝑝 𝑋& 𝑤 ( 𝑝 𝑤 𝑋% − ∫ 𝑑𝑤 log 𝑝 𝑋& 𝑤 𝑝(𝑤|𝑋%) ( WAIC：𝑊 % = 𝑇% + *+! % , E 𝐺% = E 𝑊 % + 𝜊 ! %
15. 15 （おまけ）直交計画 「交互作⽤がない」と認めれば、検証する組み合わせを減らすことが出来る。農業や製造業などの実験が⼤変 なケースでは、データの⽣成過程を仮定して、実験数を減らすことができる。 詳しく⾒る 今すぐ購⼊ 詳しく⾒る 今すぐ購⼊ A B C D 𝜃 = Logistic 𝛼 + 𝛽!𝑥! + 𝛽"𝑥" 𝒙𝟏 𝒙𝟐 A 0 0 B 0 1 C 1 0 D 1 1