FODにおけるホーム画面編成のレコメンド

Transcript

1. 株式会社oneroots FODにおけるホーム画面編成のレコメンド 〜 移り変わりの激しいエンタメサービスのユーザ体験をレコメンドで支える 〜 2025/1/15 Recommendation Industry Talks #5 工藤 航
2. © 2025 oneroots inc. 2
3. 3 有料会員数 150万人以上 10万本以上のドラマ・ 映画・アニメ等が見放題 「ここにしかない出会いがある。」 を体現すべくレコメンデーションに注力
4. © 2025 oneroots inc. データサイエンティスト ・機械学習エンジニア FODレコメンドチーム 4 プッシュ通知 担当 レコメンドチーム 画面編成 担当 活動 体制 定量・定性の両面に向き合い 、様々なレコメンド機能を継続的に開発・改善 DS・MLエンジニア • モデル・ロジックの開発および システム保守運用 • 施策の効果検証、課題分析 施策チームメンバー • 各種施策にレコメンドを活用 • ユーザやコンテンツへの深い理解 をもとに、特 に定性観点でのレビュー を実施
5. © 2025 oneroots inc. 本日お話しすること 5 ✔ FODのホーム画面 に Contextual Banditを適用した経緯と効果 ✔ 大きな意思決定、大掛かりな実験を 推進する上で施した工夫や得られた学び
6. © 2025 oneroots inc. 株式会社oneroots 工藤 航 @wata_roots (X / Twitter) 自己紹介 6 所属・役割 ① 株式会社oneroots (CTO) 　 「出会いと別れを科学する」をミッションに事業を展開 ② FODレコメンドチーム (チーフデータサイエンティスト ) 　 多様なユーザに最高の体験を届けるため、サービスの あらゆる場所に適用する様々なレコメンド機能の開発を推進 ③ 株式会社Fuji Culture X データサイエンスセンター (副所長) 　 データ・AIの利活用を推進しエンタメ業界を盛り上げる (〜 2020) 　　　大学院で複雑ネットワーク解析の研究 (2020 〜 2023) 人材系サービスでレコメンド開発 (2023 〜) oneroots 経歴
7. FODが抱えていた課題と 推薦システムのミッション 7
8. © 2025 oneroots inc. FODが抱えていた課題 8 ホーム画面の “棚編成” の手動運用が大変 作品1 作品2 作品3 〇〇キャンペーン △△特集！ 作品4 作品5
9. © 2025 oneroots inc. 作品1 作品2 作品3 〇〇キャンペーン △△特集！ 作品4 作品5 FODが抱えていた課題 9 ホーム画面の “棚編成” の手動運用が大変 “棚”とは？ • ホーム画面に並ぶ コンテンツの表示単位 • タイトルをつけてコンテンツが 並べられており、 横スクロール可能 これら一つ一つが “棚”
10. © 2025 oneroots inc. FODが抱えていた課題 10 ホーム画面の “棚編成” の手動運用が大変 “棚編成”とは？ ① 棚の配置調整 　上から順にどの棚を並べるかを、 　各棚の数値を見ながら決定する。 ② 棚を作る 　 業界のトレンドに合わせて 　 訴求の切り口やラインナップを 　 決定する。最もドメイン知識を 　 要するクリエイティブな業務 。 ① 棚の配置調整を手動で実施し ていたため、課題があった 作品1 作品2 作品3 〇〇キャンペーン △△特集！ 作品4 作品5 “棚”とは？ • ホーム画面に並ぶ コンテンツの表示単位 • タイトルをつけてコンテンツが 並べられており、 横スクロール可能 これら一つ一つが “棚”
11. © 2025 oneroots inc. 手動運用による棚の配置調整が抱える課題 11 運用担当者の負荷が非常に高い 各棚のクリック率の推移をモニタリングするダッシュボード • 〇〇特集は7日前に出してクリック率が下がってき たから編成位置を下げる • △△キャンペーンはその一つ上の棚よりもクリック 率が高くなったから編成位置を上げる • … etc 運用担当者 100個以上ある棚の クリック率推移を日々監視 し、 編成の調整を行う 担当者の “超ハードワーク ” によって支えられていたが 業務の圧迫が課題
12. © 2025 oneroots inc. 手動運用による棚の配置調整が抱える課題 12 各棚の編成位置を定量的に決定するのが困難 豊富なドメイン知識と業務経験が前提 の “職人技” 何日間分ログが貯まったら判断するか？ クリック率がどの程度下がったら、 位置をどこまで下げるのか？ 新しく作成した棚をどの位置に 挿入するか？ 過去の傾向や 最新の業界トレンド から判断していたが、 難易度は高い
13. © 2025 oneroots inc. 手動運用による棚の配置調整が抱える課題 13 各棚の編成位置の決定が “職人技” ① 棚の配置調整 ② 棚を作る ← こちらに職人の時間 が取られすぎて、 ← クリエイティブな業務に時間が取れない 運用観点での大きな課題 運用担当者の負荷が非常に高い + 棚編成の 2つの業務
14. © 2025 oneroots inc. 手動運用による棚の配置調整が抱える課題 14 パーソナライゼーションできない ニッチで魅力的な棚が下部に編成され、それを求める人にも届かない 人気国内ドラマ リアリティーショー ランキング 音楽ライブ 人気の棚もあれば ニッチな棚もある 理想は 「ユーザの好みに合わせた編成」 現実は 「全ユーザ共通の編成」 ドラマ好き 音楽好き 人気国内ドラマ ランキング 音楽ライブ 音楽系バラエティ ランキング 人気国内ドラマ … 上部は人気の棚になり、 「ニッチだが根強いファンがいる」 タイプの棚は下部にせざるを得ない UX観点での大きな課題 … … …
15. © 2025 oneroots inc. 推薦システムに課せられたミッション As-Is To-Be UX 全ユーザ共通の編成 パーソナライゼーションの実現 人気な棚からニッチな棚まで、 ユーザが自分の好きな棚や作品に出会う機会を最大化 運用 棚の配置調整が 高いドメイン知識を持つ メンバーの業務を圧迫 配置調整の自動化 高いドメイン知識と創造性を最も必要とする「棚を作る」 業務に時間を割ける 15 パーソナライゼーション & 配置調整の自動化を実現 し、 UX・運用の両面から棚編成を支える
16. Contextual Bandit 導入の経緯と結果 16
17. © 2025 oneroots inc. 棚編成へのレコメンド導入 ロードマップ 17 2023年 2024年 [実験①] 作品スコアベースの レコメンド [実験②] Contextual Banditによるレコメンド
18. © 2025 oneroots inc. [実験①] 作品スコアベースのレコメンド 18 〇〇特集 作品A 作品B 作品C △△特集 アプローチ概要 作品D 作品E 作品F • 視聴履歴からユーザ⇄作品のスコアを算出 • 各棚に所属する作品スコアをもとに、ユーザ⇄各棚のマッチ度を評価 ユーザ 視聴履歴 作品X 作品Y 0.95 0.88 0.80 0.88 0.78 スコアが高い順に 上から棚を並べる
19. © 2025 oneroots inc. [実験①] 作品スコアベースのレコメンド 19 効果 特定のセグメントでは改善したが悪化したセグメントも存在したため、 全体での効果は限定的 → パーソナライズの有効性は確かだが、課題も多く見られた 💡 最も大きな課題は ... 棚のコールドスタート問題 トレンドに合わせて組まれた “特集” の棚など、新しく作られた棚は人気 しかし、レコメンド棚編成では新しい棚を適切にユーザに提示できていなかった
20. © 2025 oneroots inc. [実験②] Contextual Bandit によるレコメンド 20 アプローチ概要 • 新しい棚の特性を素早く学習 し、適切な位置に表示 することが必要 → “探索” と “活用” のバランスが重要 → バンディットアルゴリズム をベースとしたレコメンデーションを調査 • 最もユースケースが近い音楽ストリーミングアプリの事例 (Carousel Personalization in Music Streaming Apps with Contextual Bandits , RecSys 2020) を参考にモデリング ◦ ユーザの行動履歴や属性で作ったベクトルから各棚のCTRを予測 ◦ Cascade-based なモデル更新が特徴 ▪ クリックした棚を正例、クリックした棚よりも上位にある棚を負例 とする ▪ ユーザへの棚の表示有無が取得できない今回のケースにマッチ
21. © 2025 oneroots inc. [実験②] Contextual Bandit によるレコメンド 21 実装はかなり大変でした … • 日々のレコメンド結果をS3に蓄積する処理 • 複数のデバイスからユーザのクリックログを整形する前処理 • ユーザ特徴ベクトルの作成処理 • CTRを予測するモデルクラスの実装（パラメタの逐次アップデー ト、推論のメソッド） • Cascade-basedな更新のためにクリックログとそのユーザに表 出された棚編成順位のログを紐付けて正例と負例を作成 • 各棚ごとのモデルを逐次更新 • 評価値算出 • 予測結果をDBに登録する処理 • 3つのデバイスごとに異なる後処理条件をパラメタ化してテスト 可能に … etc ※ Kedro のパイプライン可視化機能で出力 着手から約 3ヶ月かけて何度か磨き込み、 ABテスト実施 の判断に到達！
22. © 2025 oneroots inc. [実験②] Contextual Bandit によるレコメンド 22 効果 【ユーザ体験の改善】 ホーム画面経由の動画視聴系 KPIが大きく改善 　 └ ABテストでDAUが1.3倍、1人当たり月間視聴作品数が1.2倍 （↑ 過去最高の改善幅） 【運用改善】 「棚の配置調整」にかけていた時間を削減し、 「棚を作る」業務に集中できるようになった パーソナライゼーション & 配置調整の自動化により、 UX・運用の両面で棚編成を支えることができた
23. © 2025 oneroots inc. まとめ 23 課題 FODでは棚編成を手動で実施していたため、UXと運用の両面に課題があった • UX ：パーソナライゼーションが不可能 • 運用：ドメイン知識の高い担当者がそれを活用する業務をできない アプローチ 結果 初期実験で棚のコールドスタートに課題があることが明らかになったため、 Contextual Bandit によるレコメンデーション を採用 • ホーム画面経由のKPIが1.2倍〜1.3倍改善 • 高いドメイン知識をクリエイティブな業務に活かせるようになった
24. 学んだこと 24
25. © 2025 oneroots inc. 大きな意思決定で重要な「過去の積み上げ」 25 過去の実験で得た知見を積み上げて定量的な根拠を示す 　開発工数のかかるContextual Banditを導入する意思決定に確信をもてたのは 　最初の実験結果を深掘りして課題を明確化し、定量的なインパクトを見立てられたから 　★ 実験を単発で終わらせず に未来に繋がるように振り返ること、 　　 それを定量的な判断をするための資産として蓄積・活用する ことが重要 【実験①】作品スコアベース 【実験②】 Contextual Bandit ・全体的な改善効果は 〇〇% ・セグメントAでは△△%だが、 　セグメントBでは××% ・原因は棚のコールドスタート 棚のコールドスタート問題を解決できた場 合、〇〇%の改善が見込まれる
26. © 2025 oneroots inc. 大きな意思決定で重要な「未来のビジョン」 26 未来のビジョンを示して周囲の協力を仰ぐ 　チームを跨いだ大掛かりな対応を優先度高く進められた背景には、 　「よりクリエイティブな業務に時間を割ける」という運用改善の視点 が共有できたこと ★ レコメンド視点の KPIに閉じず運用やサービス全体の改善に目を向け 、 　 サービスをより良くしていくための未来のビジョンを明言して伝える ことが重要 サービス全体の視点で 推薦システムで解決したい課題 と効果の目線を合わせる
27. © 2025 oneroots inc. 「動く定性評価」の有効性 27 レコメンドには 「定性的な納得感」が不可欠 　特に感性に近いエンタメサービスにおいては納得感は生命線。 　分析者がドメイン知識を高めて定性評価を正しくできるようになることは重要な上で、 　★ ユーザ・コンテンツ・サービスへの解像度を極めた人たちと上手く連携し 、 　　 FBを活発にもらいながら定性的な課題を洗い出せるようにすることが重要 Streamlitで定性評価用の Webアプリ(Reclit) を作成 サンプルをピックアップして推薦結果を確認・共有 Before After ※ 社内通称 レックリット
28. © 2025 oneroots inc. Reclit: Streamlitで作った定性評価用の Webアプリ (1/3) 28 各種条件でユーザIDを検索でき、推薦を確認するユーザを選べる
29. © 2025 oneroots inc. Reclit: Streamlitで作った定性評価用の Webアプリ(2/3) 29 どんなユーザに どんな推薦が出るか？ を動かしながら確認できる 選択したユーザについて、 • 行動履歴 • 属性 • 推薦結果 を確認可能
30. © 2025 oneroots inc. Reclit: Streamlitで作った定性評価用の Webアプリ(3/3) 30 新しく追加した棚が狙い通りのユー ザに表示されているか？ などを確認できる 選択した棚について、 上位に表示されるユーザの特徴 を 決定木分析で可視化
31. © 2025 oneroots inc. 「動く定性評価」の有効性 31 オフライン評価時 • 評価ユーザに対するレコメンド結果を確認 • 施策担当者による定性レビューを抜け漏れなく実施 リリース後 • 本番サービス環境でのレコメンド結果を確認 • リリース後の挙動が意図通りかを確認 Reclit (定性評価用の Webアプリ) 痒いところに手が届く「動く定性評価」 で周囲を巻き込み、 定性課題の洗い出しを抜け漏れなく・スピーディーに実施
32. © 2025 oneroots inc. 改善サイクルの回しやすさに向き合うことの重要性 32
33. © 2025 oneroots inc. まとめ 33 取り組み概要 • FODホーム画面のレコメンドにContextual Banditを適用した • UXと運用の両面の改善につながった 学んだこと • 大きな意思決定をする際に重要だったこと ◦ 過去の実験から定量的な根拠を示す ◦ 未来のビジョンを示して周囲の協力を仰ぐ • 「動く定性評価」 は周囲と連携しながら課題を洗い出すために非常に有効 • 改善サイクルの回しやすさに向き合う ことは重要
34. © 2025 oneroots inc. 最後に 34 • 株式会社onerootsは、エンタメ領域を中心とした様々な領域で データサイエンス・ML/AI技術による課題解決に取り組んでいます • ご興味のある方はぜひカジュアル面談しましょう！