$30 off During Our Annual Pro Sale. View Details »

ABEMAの効果検証事例〜効果の異質性を考える〜

うとしん
March 06, 2024

 ABEMAの効果検証事例〜効果の異質性を考える〜

3/7に行われた、株式会社ブレインパッドのイベント登壇資料です。

イベントリンクはこちらです。
https://brainpad.connpass.com/event/310103/

うとしん

March 06, 2024
Tweet

More Decks by うとしん

Other Decks in Science

Transcript

  1. モジュールの最適化だけでもやることがいっぱい、、、 • どんなモジュールを表示するか • モジュール内でコンテンツを横にどう並び替えるか • モジュールそのものを縦にどう並び替えるか ABEMAのホーム画面のイメージ ホーム画面=ユーザーがアプリ起動時に遷移する画面 コ

    ン テ ン ツ 1 コ ン テ ン ツ 3 コ ン テ ン ツ 2 hogeコンテンツ コ ン テ ン ツ a コ ン テ ン ツ c コ ン テ ン ツ b fugaコンテンツ コ ン テ ン ツ 4 コ ン テ ン ツ 5 何らかの条件を満たすコンテンツが横1行に並べられている →横1行のコンテンツの集合をモジュールと呼ぶ ホーム画面のイメージ
  2. 今回、紹介する検証の背景 検証前のホーム 表示されるコンテンツはほとんどビデオ ビ デ オ 1 ビ デ オ

    3 ビ デ オ 2 hogeコンテンツ 過去の分析の知見 リニアの表示を増やしたら視聴が伸びた リニア1 fooコンテンツ hogeコンテンツ リニアコンテンツを並べるモジュールをホームに表示したら視聴が伸びるのでは?
  3. リ ニ ア 1 リ ニ ア 3 リ ニ

    ア 2 放送中コンテンツ 放送中モジュール検証 リニアコンテンツを並べる「放送中モジュール」を作成し、A/Bテストを実施 ビ デ オ 1 ビ デ オ 3 ビ デ オ 2 hogeコンテンツ コントロールグループのホーム(A) fugaコンテンツ トリートメントグループのホーム(B) hogeコンテンツ 放送中モジュール ユーザーのログイン時にAorBをランダムに割り振る
  4. 想定される効果 リニア視聴の増加&ビデオ視聴の減少 リ ニ ア 1 リ ニ ア 3

    リ ニ ア 2 放送中コンテンツ ビ デ オ 1 ビ デ オ 3 ビ デ オ 2 hogeコンテンツ fugaコンテンツ hogeコンテンツ ビ デ オ a ビ デ オ c ビ デ オ b ビ デ オ 1 ビ デ オ 3 ビ デ オ 2 リニアコンテンツのimpが増えるた め、リニア視聴が増える ビデオコンテンツを表示するモ ジュールが押し下げられてビデオの impが減り、ビデオ視聴が減る
  5. 分析結果(時系列の結果) 実験前・中のリニア・ビデオ視聴時間の相対比を時系列でプロット グラフの見方 • 青の実線: リニアの視聴時間の 相対比(Treatment/Control) • 橙の実線: ビデオの視聴時間の

    相対比(Treatment/Control) • 灰の破線: 相対比=1の点 (Treatment=Controlとなる点) • 赤の背景: 実験期間 リニア視聴が増加し、ビデオ視聴がやや減少している
  6. 分析結果(DIDによる推定結果) 回帰分析の枠組みでDIDを行い、介入効果を推定した結果 アウトカム リニア視聴時間 ビデオ視聴時間 推定値 0.004** (0.002) -0.003 (0.002)

    ※ ()内の値はユーザーをクラスター単位としたクラスター標準誤差であり、**は有意水準0.05で有意であることを示す リニア視聴時間が0.004増加し、ビデオ視聴時間が0.003減少している (推定された効果の符号は、時系列の結果と整合している) ※モデルについてはAppendixを参照。
  7. ユーザーの視聴傾向別のビデオ視聴時間の変動(時系列) 実験前・中のlinear_type・video_typeのビデオ視聴時間の相対比 グラフの見方 • 青の実線: linear_typeの視聴時間 の相対比(Treatment/Control) • 橙の実線: video_typeの視聴時間

    の相対比(Treatment/Control) • 灰の破線: 相対比=1の点 (Treatment=Controlとなる点) • 赤の背景: 実験期間 video_typeのビデオ視聴は変わらないが、linear_typeのビデオ視聴は下がっている
  8. DMLを用いたHTEの推定結果 詳細な効果の異質性を捉えるため、実験前のリニア視聴割合別に効果を推定 リニア視聴割合 0.0 0.2 0.4 0.6 0.8 1.0 リニア視聴への

    介入効果 0.0074*** (0.0012) 0.0062** (0.0024) 0.0050 (0.0047) 0.0038 (0.0070) 0.0026 (0.0094) 0.0015 (0.0118) ビデオ視聴への 介入効果 -0.0062 (0.0052) -0.0065 (0.0042) -0.0067** (0.0034) -0.0070** (0.0030) -0.0072** (0.0030) -0.0075** (0.0036) ※ ()内の値は標準誤差であり、**は有意水準0.05で有意、***は有意水準0.01で有意であることを示す 効果には異質性があり、リニアの視聴割合が高くなるにつれて リニア視聴への正の効果が小さく、ビデオ視聴への負の効果が大きくなっている ※リニア視聴割合は実験前30日間におけるリニア視聴時間/全視聴時間と定義した。モデルについてはAppendixを参照 video_typeに相当 linear_typeに相当
  9. 以下の回帰モデルを用いて、介入効果δを推定 Y it = α + β・Z i + γ・D

    t + δ・Z i ・D t + η it • 添字i: ユーザー • 添字t: 期間(実験前or実験中) • Y: リニアまたはビデオの視聴時間 • D: 期間tが実験中であれば1、実験前であれば0を表すダミー変数 • Z: ユーザーiがトリートメントグループであれば1、コントロールグループであれば0を表 すダミー変数 • η: 誤差項 • α, β, γ, δ: パラメータ DIDのモデルについて
  10. 1段階目では以下の予測タスクを行う Y i = g(X i , W i )

    + u i , Z i = f(X i , W i ) + v i • 添字i: ユーザー • Y: リニアまたはビデオの視聴時間 • Z: ユーザーiがトリートメントグループであれば1、コントロールグループであれば0を表 すダミー変数(ここでは介入を表す) • X: 実験前30日間のリニアの視聴割合=リニアの視聴時間/全視聴時間(効果修飾因子) • W: 実験前の視聴時間 • u, v: 誤差項 • g(・), f(・): ノンパラメトリックな関数(今回は勾配ブースティングを用いた) DMLのモデルについて(1/2)
  11. 2段階目では以下の回帰モデルを用いて処置効果を推定 (Y i の残差) = θ(X i )・(Z i の残差)

    + ε i • θ(X): Xの値に応じた介入効果(今回はθ(X)を一次の線形関数と仮定した) • ε: 誤差項 この結果から得られるθ(X)の推定値は以下の回帰式におけるθ(X)の不偏推 定量となることが知られている(参考: Chernozhukov 18) Y i = θ(X i )・Z i + q(X i , W i ) + ε i ただし、q(・)はノンパラ関数 DMLのモデルについて(2/2)