ABEMAにおけるバンディット検証

2025年10月22日に開催されたLINEヤフーさんとのイベントでお話しさせていただいた発表資料。
https://lycorptech-jp.connpass.com/event/370887/

Transcript

1. AbemaTV, Inc. All Rights Reserved ABEMAにおけるバンディット検証 @2025/10/22 LINEヤフー ABEMA Meetup〜データサイエンス〜
2. AbemaTV, Inc. All Rights Reserved • 名前: 宇戸 慎吾（うと しんご） • 仕事: ABEMAのDS • 経歴: ◦ 2015/04: 九州大学経済工学科入学 ◦ （中略） ◦ 2023/08: CA中途入社（ABEMAにジョイン） ◦ 2025/10〜現在 ▪ 施策の効果検証 ▪ 推薦や広告負荷デザインの改善 • 趣味: キックボクシング, X（うとしん） 自己紹介
3. AbemaTV, Inc. All Rights Reserved • 検証の背景 • 検証の結果 アジェンダ
4. AbemaTV, Inc. All Rights Reserved 検証の背景
5. AbemaTV, Inc. All Rights Reserved 「新しい未来のテレビ」です。 ABEMAの紹介 5
6. AbemaTV, Inc. All Rights Reserved ルールベース, MLベース, バンディットなど、複数のロジックが存在し、 ページ/モジュールごとに適用されるロジックが異なる ABEMAのレコメンドシステム ページA ページB モジュールa: バンディット モジュールb: ルールベース モジュールc: MLベース コンテンツ コンテンツ コンテンツ コンテンツ 視聴コンテンツ
7. AbemaTV, Inc. All Rights Reserved ホームビルボード ABEMAのバンディット • ビルボード（人気注目枠）という枠で利用されており、 特に、ホームビルボードはホーム画面の上部に位置しており トラフィックが多い重要な枠とされている • コンテンツの集合はセグメント別に手動で入稿されている ◦ セグメントの粒度はヒミツです^^ • 報酬は管理画面上で設定可能であり、 基本的には「クリック×5分視聴」が報酬として設定されている コンテンツ コンテンツ コンテンツ コンテンツ
8. AbemaTV, Inc. All Rights Reserved Contextualではない多腕バンディット問題を解いており、 majority に対して、実績の良いコンテンツが推薦されやすい仕様になっている。 ABEMAのバンディットの課題感 ABEMAの中で majority のユーザーに 視聴されやすいコンテンツが推薦される ABEMAの中で minority のユーザーに 視聴されやすいコンテンツが推薦されづらい
9. AbemaTV, Inc. All Rights Reserved コンテンツの手動入稿はセグメント粒度で設定される ABEMAのセグメントについて → 現行のバンディットでは少数派のセグメントA/B/Cの精度が悪くなる懸念 セグメントEが40% それ以外が約15%ずつ セグメントEと比較して、Dはジャンル別の視聴内訳は似て いるが、A/B/Cはそれぞれ内訳が大きく異なる セグメント別UU内訳 ある期間のジャンルのセグメント別視聴時間割合 B C D E A ※B→C→D→E→Aの順に並んでます
10. AbemaTV, Inc. All Rights Reserved ユーザーセグメントを考慮したバンディット問題を解いた方が良いのでは？ → ユーザーセグメントでバンディット問題を切り分けた 解決策 旧ロジック: 全ユーザーの実績を一括 新ロジック: セグメントごとに切り分ける バンディット バンディット バンディット
11. AbemaTV, Inc. All Rights Reserved ホームビルボードのバンディットロジックを変更し、 検証期間を1週間、Treatment:Control = 50:50 としてA/Bテストを実施 検証方法 ユーザーのログイン時にAorBをランダムに割り振る Control Group （旧ロジック） Treatment Group （新ロジック） ※学習データもA/Bで分かれている
12. AbemaTV, Inc. All Rights Reserved 検証の結果
13. AbemaTV, Inc. All Rights Reserved セグメントA/B/Cユーザー UU割合が少ない & UU割合が大きいセグメントEユーザーと視聴傾向が大きく異なる → セグメントA/B/Cが視聴しやすい傾向にあるコンテンツの推薦が増え、 セグメントEが視聴しやすい傾向にあるコンテンツの推薦が減る → セグメントA/B/Cのホームビルボード経由視聴が増加する セグメントD/Eユーザー UU割合が大きいセグメントEユーザーと視聴傾向はあまり差がないor同じ → セグメントD/Eに表示されるコンテンツの推薦は大きく変化しない → セグメントD/Eユーザーのホームビルボード経由視聴はあまり変化しない 想定される効果
14. AbemaTV, Inc. All Rights Reserved グラフの見方 • 1番上 ◦ 橙の直線: Treatment ◦ 青の直線: Control ◦ 赤の背景: 検証期間 • 真ん中: Controlとの差分 ◦ 橙の直線: Treatment-Control ◦ 青の直線: 0 ◦ 赤の背景: 検証期間 • 1番下: Controlとの相対比 ◦ 橙の直線: Treatment/Control ◦ 青の直線: 1 ◦ 赤の背景: 検証期間 検証期間に入って差が生じており、施策の効果によって ホームビルボード経由視聴数は増加している → 全体としてはポジティブな効果があった 検証結果（全ユーザーのホームビルボード経由視聴数） 実 数 差 分 相 対 比 ホームビルボード経由視聴数 ホームビルボード経由視聴数の差分 ホームビルボード経由視聴数の相対比
15. AbemaTV, Inc. All Rights Reserved グラフの見方 • 横軸: impの差分（Treatment - Control） • 縦軸: clickの差分（Treatment - Control） 解釈 • セグメントA/Bユーザーの視聴が多い 恋愛コンテンツのimp, clickが増加 • UU割合が多いセグメントEユーザーの視聴 傾向が高いニュースコンテンツのimpが減少 → impの増加分あたりのclickの増加分が大き く、視聴化に繋がる推薦ができている 検証結果（どんなコンテンツのimpが増減したのか？） 恋愛コンテンツ1 恋愛コンテンツ2 恋愛コンテンツ3 ニュース コンテンツ コンテンツごとにimpの差分(Treatment - Control)とclickの差分(Treatment - Control)を可視化
16. AbemaTV, Inc. All Rights Reserved セグメント別に、以下の回帰モデルを用いて処置効果τを推定 Y i, t=1 = β 0 + β 1 ・Y i, t=0 + τ・T i + u i • i: user_idを表す添字 • t: 期間を表す添字 ◦ t=0: 実験期間前7日間 ◦ t=1: 実験期間中7日間 • Y: ホームビルボード経由視聴数 • T: 処置を表すダミー変数 ◦ T=0: 旧ロジック ◦ T=1: 新ロジック • u: 誤差項 検証結果（セグメント別のホームビルボード経由視聴数） 効果の異質性があり、特にセグメントA/Bのセグメントで改善幅が大きい A B C D E
17. AbemaTV, Inc. All Rights Reserved • ABEMAのバンディットロジックはContextualではなく、 推薦されるコンテンツがUUが多いセグメントの実績に引っ張られていた • ↑を解決するべく、セグメントごとに学習するようにし、A/Bテストを実施 ◦ ホームビルボード経由視聴数が増加 ◦ 効果には異質性があり、UUが少ないセグメントで特に改善幅が大きかった まとめ
18. AbemaTV, Inc. All Rights Reserved サイバーエージェント全社の学生向けインターン/メディア事業部の中途採用もやってます 宣伝 興味のある方はぜひご応募ください！ 学生向けインターン メディア中途採用
19. AbemaTV, Inc. All Rights Reserved おわり