ABEMAにおけるサムネイル検証とOPE活用

CFML勉強会で発表した資料です(https://cfml.connpass.com/event/264017/)

概要: ABEMAにおいてサムネイルは、番組へユーザーを誘導する重要な役割を担っており、より良いサムネイルを作成するための検証や、ユーザーにとって相性の良いサムネイルを選択する最適化は非常に重要なデータサイエンスのタスクとなっています。この発表では、そういった検証や最適化における、A/BテストやOPEの活用の事例についてお話しします。

Transcript

1. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved
 1 ABEMAにおける サムネイル検証と OPE活用 2022 January 14th Ebisawa Hayata (ABEMA), ABE KENSHI (AI Lab), Yasui Shota(AI Lab)
2. AbemaTV, Inc. All Rights Reserved
 海老澤 颯 えびさわ はやた 2022年度 新卒入社 株式会社AbemaTV 開発本部 Abema Data Center 2 Profile Computer Visionを活用した機械学習システムの開発 画像サムネイル検証とデータ分析 @ebisawa_hayata
3. AbemaTV, Inc. All Rights Reserved
 3 1. ABEMAにおけるサムネイル 2. サムネイル検証 3. サムネイル選択 4. 今後について INDEX
4. AbemaTV, Inc. All Rights Reserved
 ABEMAにおけるサムネイル 4
5. AbemaTV, Inc. All Rights Reserved
 ABEMAとは 5 動画ストリーミングサービス クリック
6. AbemaTV, Inc. All Rights Reserved
 ABEMAとは 6 動画ストリーミングサービス クリック ここで何を見せるかがコンテンツ消費に影響する ・どのコンテンツを見せるか?（推薦） ・どのサムネイルを見せるか？（サムネイル）
7. AbemaTV, Inc. All Rights Reserved
 推薦とサムネイルの役割の違い 7 ユーザーに表示された コンテンツの魅力を伝える サムネイル ユーザーの 好みのコンテンツを表示 推薦 • 私たち結婚しました • オオカミちゃん • 恋愛ドラマな恋がしたい • チャンスの時間 1. オオカミちゃん 2. 恋愛ドラマな恋がしたい 3. 私たち結婚しました 4. チャンスの時間
8. AbemaTV, Inc. All Rights Reserved
 推薦とサムネイルの役割の違い 8 ユーザーに表示された コンテンツの魅力を伝える サムネイル ユーザーの 好みのコンテンツを表示 推薦 • 私たち結婚しました • オオカミちゃん • 恋愛ドラマな恋がしたい • チャンスの時間 1. オオカミちゃん 2. 恋愛ドラマな恋がしたい 3. 私たちけっこんしました 4. チャンスの時間
9. AbemaTV, Inc. All Rights Reserved
 サムネイルの検証 9
10. AbemaTV, Inc. All Rights Reserved
 サムネイル検証のゴール 10 よりコンテンツの 魅力が伝わる サムネイルを作る
11. AbemaTV, Inc. All Rights Reserved
 Netflixの事例 11 悪役のキャラクターがよい 検証結果例 • 「コンテンツを視聴する という決定に最大の影響を あたえる • ユーザーの82%が 画像にフォーカス ユーザー調査 引用: https://about.netflix.com/en/news/the-power-of-a-picture
12. AbemaTV, Inc. All Rights Reserved
 具体的に何を検証するのか 12 • バッジ • ロゴ • タイトル • キャプション • 素材画像 各要素の有無や、位置や色、テキスト等の影響を検証
13. AbemaTV, Inc. All Rights Reserved
 検証方法: ABテスト 13
14. AbemaTV, Inc. All Rights Reserved
 評価方法 14 • ベイズ検定 ベータ分布から導出した事後分布 の平均の差で判定 検定 評価指標 • watchUU サムネイルをクリックして 遷移したエピソードを視聴した UU数 • impUU サムネイルが表示された UU数
15. AbemaTV, Inc. All Rights Reserved
 検証に用いるコンテンツ 15 番組概要 最高の恋を手にするために集まった男女 10人。 ただし、メンバーの中には、 女子側に「恋をしないオオカミちゃん」が 1人以上 そして、男子側にも 「恋をしないオオカミくん」が 1人以上 潜んでいる。 オオカミの甘い誘惑や嘘に惑わされることなく 最高の恋を見つけることができるのか？
16. AbemaTV, Inc. All Rights Reserved
 検証場所 16
17. AbemaTV, Inc. All Rights Reserved
 サムネイルの検証結果 17
18. AbemaTV, Inc. All Rights Reserved
 18 第１回：検証に用いたサムネイル 3つのサムネイルでABテストを実施
19. AbemaTV, Inc. All Rights Reserved
 19 第１回：結果 高 低 それぞれのサムネイルで差のある結果が得られた +12.5%
20. AbemaTV, Inc. All Rights Reserved
 20 第１回：検証結果から考えられる仮説 • キャストの興味がユーザごとに異なる? • キャプションで差が出ている? • タイトルの大きさ?
21. AbemaTV, Inc. All Rights Reserved
 21 第１回：検証結果から考えられる仮説 • タイトルの視認性かも??
22. AbemaTV, Inc. All Rights Reserved
 22 第２回：検証に用いたサムネイル • 検証1回目ではバラバラだった素材画像を統一する • キービジュアル(オレンジ背景のサムネイル)を追加
23. AbemaTV, Inc. All Rights Reserved
 23 第２回：結果 高 低 +19.9%
24. AbemaTV, Inc. All Rights Reserved
 24 第２回：結果 タイトルの視認性が重要な可能性が高い!!
25. AbemaTV, Inc. All Rights Reserved
 25 第３回：検証に用いたサムネイル • 検証２回目と同じサムネイル構成を採用し、再現性を確かめる
26. AbemaTV, Inc. All Rights Reserved
 26 第３回：結果 高 低 +23.4%
27. AbemaTV, Inc. All Rights Reserved
 27 第３回：結果 タイトルの視認性が重要なことが再確認できた！
28. AbemaTV, Inc. All Rights Reserved
 問われる再現性の問題 28 問われる再現性の問題 「オオカミちゃん」 だけなんじゃないの? 他のコンテンツでも 同じこと言えんの??
29. AbemaTV, Inc. All Rights Reserved
 29 恋する週末ホームステイ 高 低 +7.9% 問われる再現性の問題
30. AbemaTV, Inc. All Rights Reserved
 30 シャッフルアイランド 高 低 +7.4% 問われる再現性の問題
31. AbemaTV, Inc. All Rights Reserved
 問われる再現性の問題 31 他番組でも同様の結果が得られている • 私たち結婚しました • 恋愛ドラマな恋がしたい • プレミアリーグ • …
32. AbemaTV, Inc. All Rights Reserved
 サムネイル検証まとめ 32 • サムネイルがコンテンツの消費に大きく影響する • タイトルの視認性が重要 • 多くの番組でABテストを行い再現性のある結果が得られている
33. AbemaTV, Inc. All Rights Reserved
 よいサムネイルを選べていたら? 33 検証でサムネイルに明確に差があることがわかった よいサムネイルを選べていたら よりCTVRが増えていたのでは?
34. AbemaTV, Inc. All Rights Reserved
 サムネイルの選択 34
35. AbemaTV, Inc. All Rights Reserved
 サムネイル検証とサムネイル選択の違い 35 選択はKPIの最大化が目的 • バンディットアルゴリズム サムネイル選択 検証は知見を得ることが目的 • ABテストを行う タイトルの視認性が重要などの知見を得る サムネイル検証
36. AbemaTV, Inc. All Rights Reserved
 サムネイル検証とサムネイル選択の違い 36 サムネイル選択でKPIの最大化ができる!! 検証せずサムネイル選択のアルゴリズムを実装しよう!!
37. AbemaTV, Inc. All Rights Reserved
 サムネイル検証とサムネイル選択の違い 37 サムネイル選択でKPIの最大化ができる!! 本当にそうなのか??
38. AbemaTV, Inc. All Rights Reserved
 評価方法 38 評価指標 • clickUU サムネイルをクリックして 遷移したエピソードを視聴したUU数 • impUU サムネイルが表示されたUU数 オフライン検証手法 • Replay Method ランダムに配信された結果を用いて アルゴリズムの性能検証する
39. AbemaTV, Inc. All Rights Reserved
 Replay Methodとは 39 引用: L. Li, “Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms,” • ランダムに配信されたログを用いる ◦ サムネイル検証でABテストで配信されたログを用いる • ランダムの選択とアルゴリズムの選択が一致すれば 報酬の評価に使う ◦ 一致しなければ使わない
40. AbemaTV, Inc. All Rights Reserved
 Replay methodとは 40 時間 ランダム アルゴリズム
41. AbemaTV, Inc. All Rights Reserved
 Replay methodとは 41 時間 ランダム アルゴリズム
42. AbemaTV, Inc. All Rights Reserved
 Replay methodとは 42 時間 ランダム アルゴリズム
43. AbemaTV, Inc. All Rights Reserved
 Replay Methodとは 43 引用: L. Li, “Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms,” • ランダムに配信されたログを用いる ◦ サムネイル検証でABテストで配信されたログを用いる • ランダムの選択とアルゴリズムの選択が一致すれば 報酬の評価に使う ◦ 一致しなければ使わない
44. AbemaTV, Inc. All Rights Reserved
 Replay Methodとは 44 引用: L. Li, “Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms,” • ランダムに配信されたログを用いる ◦ サムネイル検証でABテストで配信されたログを用いる • ランダムの選択とアルゴリズムの選択が一致すれば 報酬の評価に使う ◦ 一致しなければ使わない • 評価に使えるか使えないかの選択がランダムに行われる 評価に使えるデータ = 全体からランダムにサンプリングされたデータ バイアスのない評価が可能になる
45. AbemaTV, Inc. All Rights Reserved
 45 OPE検証に用いたサムネイル サムネイル検証1回目の オオカミちゃん 第4話のABテストの結果を使用
46. AbemaTV, Inc. All Rights Reserved
 実験結果 46 手法 CTR ランダム配信 - ε-greedy +0.57% Thompson Sampling -0.96% Thompson Samplingがランダム配信にも劣っている …
47. AbemaTV, Inc. All Rights Reserved
 なぜランダム配信以下の性能なのか 47 日付 CTR CTRの順序が入れ替わっている 初期に良かったサムネイルの性能が途中で悪化している しかし、そのままそのアームが引かれ続けてしまった
48. AbemaTV, Inc. All Rights Reserved
 なぜランダム配信以下の性能なのか 48 日付 CTR CTRの順序が入れ替わっている 入れ替わった部分で何かが変化したのでは?
49. AbemaTV, Inc. All Rights Reserved
 入れ替わっている要因は? 49 • ユーザの好みのジャンル • ABEMAの使用頻度 • 過去のエピソードを視聴したことがあるか
50. AbemaTV, Inc. All Rights Reserved
 ユーザーの好みのジャンル別 50 ジャンル コンテンツには • 恋愛番組 • バラエティ • アニメなど ジャンルが分けられている。 オオカミちゃんをよく視聴しているのは 恋愛番組のジャンルを好むユーザーなので 恋愛番組を好むユーザーとそれ以外で 違いをみてみる オオカミちゃんとオオカミくんには騙さ・・
51. AbemaTV, Inc. All Rights Reserved
 ユーザーの好みのジャンル別：結果 51 サムネイルの順に差なし CTR
52. AbemaTV, Inc. All Rights Reserved
 ABEMAの使用頻度別 52 使用頻度 直近で、ユーザーがどのくらいの頻度で ABEMAにログインしているか
53. AbemaTV, Inc. All Rights Reserved
 ABEMAの使用頻度別：結果 53 サムネイルの順に差なし CTR
54. AbemaTV, Inc. All Rights Reserved
 過去のエピソードを視聴したことがあるか 54 視聴 ユーザーがシリーズ内のコンテンツの 過去のエピソードを視聴しているかどうか • オオカミシリーズ ◦ オオカミくんには騙されない ▪ 第1話 ▪ 第2話 ◦ オオカミちゃんとオオカミくんには騙されない ▪ 第1話 ▪ 第2話 ▪ 第3話 ▪ 第4話
55. AbemaTV, Inc. All Rights Reserved
 過去のエピソードを視聴したことがあるか：結果 55 視聴と未視聴でCTRの順に差が出た CTR
56. AbemaTV, Inc. All Rights Reserved
 過去のエピソードを視聴したことがあるか：結果 56 視聴と未視聴でCTRの順に差が出た CTR
57. AbemaTV, Inc. All Rights Reserved
 視聴ユーザ群と未視聴ユーザ群で それぞれ独立した thompson samplingを走らせれば 性能が向上するのでは? 過去のエピソードを視聴したことがあるか：考察 57 仮説
58. AbemaTV, Inc. All Rights Reserved
 視聴と未視聴のユーザーで分けてみた 58 手法 CTR ランダム配信 - ε-greedy +0.57% Thompson Sampling -0.96% Thompson Sampling(watch) +1.53% 大幅に性能が向上した!
59. AbemaTV, Inc. All Rights Reserved
 まとめ 59 • 検証と選択の役割 ◦ サムネイル検証とサムネイル選択は別物。混ぜるな危険! • 検証結果 ◦ バンディットアルゴリズムは万能ではない ◦ 一般にオフライン検証せずに 脳死でバンディットアルゴリズムを選択することがあるが ランダム配信以下の性能になってることがある。
60. AbemaTV, Inc. All Rights Reserved
 今後について 60
61. AbemaTV, Inc. All Rights Reserved
 今後について: AI Labとの連携 61 AI技術の研究組織 産学連携を強化し、ビジネス課題の解決だけでなく学術 的貢献を目指し研究開発に取り組んでいる。 AI Lab 引き続き一緒に課題解決に取り組みつつ 論文も投稿していく予定
62. AbemaTV, Inc. All Rights Reserved
 • Thompson Sampling（watch）の実装 • Contextual Banditsのオフライン検証とプロダクト実装 今後について: プロダクトへの実装 62
63. AbemaTV, Inc. All Rights Reserved
 今後について: 検証ジャンルの拡大 63 恋愛 バラエティ ドラマ スポーツ ニュース 韓流 アニメ 映画
64. AbemaTV, Inc. All Rights Reserved
 検証結果を考慮しサムネイルに最適な素材画像を自動で抽出し、提案する 今後について: サムネイル制作の半自動化 64
65. AbemaTV, Inc. All Rights Reserved
 We are hiring! 65 新卒・中途向け カジュアル面談はこちら @ebisawa_hayata 追加の質問などはこちら