LLMを用いたメタデータベースレコメンド検証

Transcript

1. AbemaTV, Inc. All Rights Reserved
 ABEMAにおけるLLMを用いた メタデータベースレコメンド検証 2025/05/22@CA DATA NIGHT byうとしん
2. AbemaTV, Inc. All Rights Reserved
 • 名前: 宇戸 慎吾（うと しんご） • 仕事: ABEMAのDS • 経歴: ◦ 2015/04: 九州大学経済工学科入学 ◦ （中略） ◦ 2023/08: CA中途入社（ABEMAにジョイン） ◦ 2025/04〜現在 ▪ いろんな施策の効果検証をしたり ▪ データから広告売上を伸ばすための戦略を考えたり • 趣味: キックボクシング 自己紹介
3. AbemaTV, Inc. All Rights Reserved
 2024 CODE@MIT（Conference On Digital Experimantation）に採択されました！ 今回お話する内容 CODE@MITについてはこちらをご参照ください: https://ide.mit.edu/events/code24/
4. AbemaTV, Inc. All Rights Reserved
 • 施策の背景 • 施策の検証 アジェンダ
5. AbemaTV, Inc. All Rights Reserved
 • 施策の背景 • 施策の検証 アジェンダ
6. AbemaTV, Inc. All Rights Reserved
 「新しい未来のテレビ」です。 ABEMAの紹介 6
7. AbemaTV, Inc. All Rights Reserved
 ルールベース, MLベース, バンディットなど、複数のロジックが存在し、 ページ/モジュールごとに適用されるロジックが異なる ABEMAのレコメンドシステム ページA ページB モジュールa: バンディット モジュールb: ルールベース モジュールc: MLベース コンテンツ コンテンツ コンテンツ コンテンツ 視聴コンテンツ
8. AbemaTV, Inc. All Rights Reserved
 視聴中のコンテンツに対し、MLベースのレコメンドロジックが適用されている ABEMAの視聴ページにおける推薦枠のレコメンド コンテンツ1 コンテンツ2 コンテンツ1を視聴するユーザーはコンテンツ2もよく視聴する傾向 → コンテンツ1の推薦枠にコンテンツ2をレコメンド 視聴ページ 原則として、視聴ページの推薦枠には 視聴コンテンツと”似ている”コンテンツを表示したい
9. AbemaTV, Inc. All Rights Reserved
 よく視聴されるコンテンツはたくさんレコメンドされる一方、 あまり視聴されていないコンテンツはなかなかレコメンドされない Popularity Biasの問題
10. AbemaTV, Inc. All Rights Reserved
 コンテンツのメタデータをベースとしたレコメンドロジックを使えば良いのでは？ Popularity Biasの問題への対処法 コンテンツの数が莫大なので 手作業でメタデータを生成するのは困難、、、 類似度を評価 But ユーザー行動の影響を受けないコンテンツの特徴を 使えば、Popularityの影響を取り除けるはず メタデータ
11. AbemaTV, Inc. All Rights Reserved
 LLMを使っちゃえ！！！ じゃあ、どうやってメタデータを生成する？
12. AbemaTV, Inc. All Rights Reserved
 レコメンドのイメージ LLMを用いたメタデータベースレコメンド コンテンツの説明を プロンプトに入力 メタデータとして出力し embbeding 類似度を評価 類似度 高 低 視聴コンテンツ 推薦する 推薦しない
13. AbemaTV, Inc. All Rights Reserved
 • 施策の背景 • 施策の検証 アジェンダ
14. AbemaTV, Inc. All Rights Reserved
 Control:Treatment=34:33とし、10日間のA/Bテストを実施 実験デザイン ユーザーのログイン時にAorBをランダムに割り振る Control Group MLベース Treatment Group メタデータベース ランダムに割り振っていても実験前からA/B間で差があるこ とがあるため、実験前のアウトカムをコントロールする 以下の回帰モデルを用いて処置効果τを推定 Y i, t = β 0 + β 1 ・Y i, t-1 + τ・T i + u i • i: user_idを表す添字 • t: 期間を表す添字 ◦ t=0: 実験期間前10日間 ◦ t=1: 実験期間中10日間 • Y: 視聴KPI • T: 処置を表すダミー変数 ◦ T=0: MLベースレコメンド ◦ T=1: メタデータベースレコメンド • u: 誤差項
15. AbemaTV, Inc. All Rights Reserved
 majorコンテンツ視聴KPIの減少、minorコンテンツ視聴KPIの増加 想定される効果 実験前20日間のサービス全体の視聴UU数 上位50コンテンツをmajorコンテンツと定義 majorコンテンツ以外を minorコンテンツと定義
16. AbemaTV, Inc. All Rights Reserved
 • 全コンテンツの視聴KPIはユーザー1人当たり0.0027減少 ◦ majorコンテンツの視聴KPIはユーザー1人当たり0.0063減少 ◦ minorコンテンツの視聴KPIはユーザー1人当たり0.0036増加 → 推薦枠経由の視聴は減少しており、悲しみにくれながらサービス全体への影響も確認 推薦枠のレコメンドロジックを変えたため、推薦枠経由の視聴の変動を調べる 視聴ページ推薦枠（介入対象枠）経由の視聴KPIへの効果 ***は有意水準1%で有意であることを表す ALLコンテンツ majorコンテンツ minorコンテンツ -0.0027*** (0.0003) -0.0063*** (0.0002) +0.0036*** (0.0003)
17. AbemaTV, Inc. All Rights Reserved
 • 全コンテンツの視聴KPIはユーザー1人あたり0.0141増加 ◦ majorコンテンツの視聴KPIは統計的に有意な差はない（まぁ下がってそう） ◦ minorコンテンツの視聴KPIはユーザー1人当たり0.0202増加 → 推薦枠経由の結果とは逆の結果に！ サービス全体の視聴KPIへの効果 全コンテンツ majorコンテンツ minorコンテンツ +0.0141** (0.0069) -0.0061 (0.0038) +0.0202*** (0.0056) ***, **はそれぞれ有意水準1%, 5%で有意であることを表す まさかの結果が得られる
18. AbemaTV, Inc. All Rights Reserved
 ここまでの整理と考察 推薦枠（介入対象枠）経由の視聴時間 サービス全体 majorコンテンツ minorコンテンツ -0.0063*** (0.0002) +0.0036*** (0.0003) majorコンテンツ minorコンテンツ -0.0061 (0.0038) +0.0202*** (0.0056) > < ***は有意水準1%で有意であることを表す 介入対象枠の経由視聴KPIは悪化しているが、サービス全体の視聴KPIは改善されている → 推薦枠以外の面/枠の経由視聴が増加しているはず！ → ユーザーのトラフィックが多い、TOP面/ジャンルTOP面経由の視聴KPIを確認
19. AbemaTV, Inc. All Rights Reserved
 いずれの面も • majorコンテンツの視聴KPIのみ増加しており、 • minorコンテンツの視聴KPIは変化ナシ（減少していない） TOP経由 TOP/ジャンルTOP面経由の視聴KPIへの効果 ジャンルTOP経由 majorコンテンツ minorコンテンツ +0.0032*** (0.0010) +0.0007 (0.0013) majorコンテンツ minorコンテンツ +0.0019*** (0.0005) +0.0007 (0.0009) ***は有意水準1%で有意であることを表す
20. AbemaTV, Inc. All Rights Reserved
 推薦枠 major: 多 minor: 少 旧ロジック これらの結果を踏まえた考察 TOP面などを回遊 majorを視聴 majorを視聴 新ロジック TOP面などを回遊 majorを視聴 minorを視聴 推薦枠 major: 少 minor: 多 推薦枠のロジックを変えたことによる、視聴面を起点としたユーザー行動の変化 推薦枠におけるmajorコンテンツの表示が減少したことによる major視聴の減少分の一部は、TOP面などで回収された 推薦枠経由のmajor視聴は減少し、 代わりにminor視聴が増加した
21. AbemaTV, Inc. All Rights Reserved
 • Popularity Biasの問題に対処するためにメタデータベースのレコメンドを開発 ◦ 莫大なコンテンツ数に対応するためにLLMを用いてメタデータを生成 • A/Bテストによる効果検証を実施し、サービス全体では視聴が増加 ◦ majorコンテンツの視聴は減少し、minorコンテンツの視聴は増加 ◦ 推薦枠経由のmajorコンテンツ視聴は減少したが、その減少分の一部はTOP面などで回収 されていた まとめ
22. AbemaTV, Inc. All Rights Reserved
 https://hrmos.co/pages/cyberagent-group/jobs/GN_02250421 「ABEMA 経営 データサイエンス」で検索すると出てきます（2025/05時点） ABEMAのDS募集中です！！興味のある方はぜひご応募いただけますと幸いです！！！ We’re Hiring!!
23. AbemaTV, Inc. All Rights Reserved
 Enjoy!!