Upgrade to Pro — share decks privately, control downloads, hide ads and more …

KDD2022 paper (Non-stationary AB Tests)

Toshihiro NAKAE
November 24, 2022
73

KDD2022 paper (Non-stationary AB Tests)

Toshihiro NAKAE

November 24, 2022
Tweet

Transcript

  1. 自己紹介 中江 俊博 (なかえ としひろ) 株式会社ビズリーチ リクルーティングプロダクト本部 プラットフォーム開発部 AI1グループ Mgr

    経歴 NTTデータ数理システム(-2018) データ分析コンサルタント TripleW(2018-2019) 排尿予測モデル実装 ビズリーチ (2019-現職) 推薦モデルなどの機械学習関連の 実装の統括担当 KDD22 関連有志読み会 / Non-stationary A/B Tests 2
  2. 今回対象となる論文 Non-stationary A/B Tests (KDD 2022) Yuhang Wu, Zeyu Zheng+

    University of California, Berkeley と Amazon の混成チーム 要旨 A/Bテストの対象となるmetricsが、定常性を満たさない場合に、 A/Bテストの推定値の分散が大きくなるケースがある。 非定常であるmetricsに対して、A/Bテストの推定値の分散を 低減させる方法を提案 KDD22 関連有志読み会 / Non-stationary A/B Tests 3
  3. 前提(1) 対象となるサンプルは 平均 の Poisson で到着 Treatment/Control の割り当ては、確率 の Bernoulli

    で決める。 このようにして集められたサンプルが手元にあると考える。 KDD22 関連有志読み会 / Non-stationary A/B Tests 5
  4. もっと一般的な状況 Treatment への割り当て確率 が時刻によって異なる場合 もし、各時点における到着密度 が正確にわかるのであれば は、サンプル数増加で真の推定値 に(確率)収束する。 dps =

    De-biased Post Stratification dpsでは、各時点でA/Bテストに含める確率もバラバラでもよいらしい。 ただし、 が正確にわかるという前提を一般の状況で 仮定するのは難しいと思われる このdpsについては、論文での記載はややあいまい。 もう少しちゃんと書いてほしい (掘り下げる余地ありとみるべきか) KDD22 関連有志読み会 / Non-stationary A/B Tests 11
  5. 別の発想 : 到着順に割り当てる工夫 で割り当てるのであれば、到着順にA/B/A/B/.. と 割り当てるのもよさそう! ほぼ同一時刻で対になるサンプルを生成しているのと 同じとみることができるから。 この発想で、Treatmentへの割り当て確率が有理数 で、

    出現する 個ごとに Treatment を 個割り当てた場合の A/Bテストの平均の差 についても sps と同程度の分散になる! tr : Time-grouped Randomization KDD22 関連有志読み会 / Non-stationary A/B Tests 12
  6. まとめ 一般的な非定常の時系列となるA/Bテストで分散が小さくなる サンプル事後層別化 sps = Sample-based Post Stratification を考案 単なる層別化と比較しても分散が小さくなる

    A/B群への割り当てを到着順に割り当てるような方法 (tr = Time-grouped randomization)でも sps と同等の分散となる KDD22 関連有志読み会 / Non-stationary A/B Tests 14