商品レコメンドでのexplicit negative feedbackの活用

Transcript

1. 1 商品レコメンドでのexplicit negative feedbackの活用 Recommendation Industry Talks #5
2. 2 株式会社メルカリ 2020年入社 2022年よりレコメンデーションチームで テックリードを務める 田中涼 @alpicola
3. 3 国内最大のC2Cマーケットプレイス 月間利用者数: 2251万人 (FY2025.6時点) メルカリについて
4. 4 グループミッション あらゆる価値を循環させ、あらゆる人の可能性を広げる “Circulate all forms of value to unleash the potential in all people”
5. 5 会社概要 Japan Region Mercari Group Fintech メルカリグループは、株式会社メルカリと、その連結子会社で構成されています。 Marketplace 株式会社メルカリ ◼設立 ◼事業内容 ◼所在地 ◼拠点 ◼代表取締役 CEO ◼CEO Marketplace 　　　　2013年2月1日 　　　　スマートフォン向けフリマアプリ 　　　　「メルカリ」の企画・開発・運営 　　　　〒106-6118 東京都港区六本木6-10-1 　　　　六本木ヒルズ森タワー 　　　　東京、福岡、大阪 　　　　山田進太郎 　　　　山本真人 ①2017年11月20日 ②金融事業 ③永沢岳志 株式会社メルペイ ①2014年1月 ②US版メルカリの企画・開発・運営 ③John Lagerling ④Palo Alto, California Mercari, Inc.（US） ①1991年10月1日 ②フットボールクラブ運営 ③小泉文明 ④茨城県立カシマサッカースタジアム 指定管理茨城県鹿嶋市 粟生東山2887番地 株式会社鹿島 アントラーズ・エフ・シー インド開発拠点 ①2022年6月 ②インターネットサービス開発 ③Carlos Donderis（取締役 Managing Director） ④Bangalore, Karnataka, India Mercari Software Technologies India Private Limited ①2021年4月28日 ②暗号資産･ブロックチェーン ③中村奎太 株式会社メルコイン
6. 6 事業展開 「かんたんで、売れる」をコンセプトに、スマホ1つでネッ トショップを開設し、ショップ運営者が事業者として商品を 直接販売することができるEコマースプラットフォーム 月間約2,300万人が利用しているメルカリから「だれでも、 すぐに、かんたんに」スポットワークができる、空き時間お しごとサービス 「メルカリ」内で使わなくなったモノを将来の資産に替える ビットコイン取引サービスやビットコインを使ってお買い物 できる決済機能の提供を開始
7. 7 トピック（キーワード）粒度でのレコメンドがメイン トピックとそのトピックに紐づく商品を表示する コンポーネントが並ぶ ホーム画面の商品レコメンド
8. 8 トピックレコメンドロジック概要 リターゲティング 協調フィルタリング ランキングモデル (LightGBM) 多様化など後処理 2. ランキングステージ 3. 多様化ステージ 1. 候補生成ステージ ⋮
9. 9 トピックレコメンドロジック概要 リターゲティング 協調フィルタリング ランキングモデル (LightGBM) 多様化など後処理 2. ランキングステージ 3. 多様化ステージ 1. 候補生成ステージ ⋮ 特徴量 = トピックの統計情報や候補生成 ステージで使われた情報など 目的変数 = トピックへのengagement
10. 10 非表示やdislikeなど、ユーザーからの明示的な「レ コメンド内容に興味がない」というフィードバック ユーザーにレコメンド内容のコントロールを与える ため、最近の推薦システムでは標準搭載されること が増えてきた Explicit negative feedbackとは？ 特にホーム画面は「好きな・欲しいものが見れる」 場所であることが大事！
11. 11 • Negativeなレコメンドをその場で非表示 • その後再び同じレコメンドをしない • Negativeなレコメンドと似た内容のレコメンドも減らす Negative feedback機能に求められること
12. 12 二段階に分けて実装 Step 1: 非表示機能 • Negativeなレコメンドをその場で非表示 • その後再び同じレコメンドをしない Step 2: negative feedbackを考慮したモデルの学習 • Negativeなレコメンドと似た内容のレコメンドも減らす Negative feedback機能に求められること
13. 13 非表示機能の実装 即時反映 & Undo可能
14. 14 非表示機能の実装: システム構成 (1) ユーザーとfeedback種別 ごとにfeedbackを受けた レコメンドを最大N件保存
15. 15 非表示機能の実装: システム構成 (2) リターゲティング 協調フィルタリング ランキングモデル (LightGBM) 多様化など後処理 2. ランキングステージ 3. 多様化ステージ 1. 候補生成ステージ ⋮ 非表示フィードバックがあったものをここで 候補から落とす (undoがあれば落とさない)
16. 16 非表示機能単体だと、ABテストの結果はネガティブ傾向 ⇨ が、次stepでの改善も見据えてリリース 初期バージョンではトリガーが長押しタップだったため、単純に機能の存在に 気づきにくいという課題も ⇨ 機能の周知・現行UIへのアップデート 非表示機能のリリースと課題 https://jp-news.mercari.com/articles /2024/12/09/recommend/ 広報チーム との連携
17. 17 二段階に分けて実装 Step 1: 非表示機能 • Negativeなレコメンドをその場で非表示 • その後再び同じレコメンドをしない Step 2: negative feedbackを考慮したモデルの学習 • Negativeなレコメンドと似た内容のレコメンドも減らす Negative feedback機能に求められること (再)
18. 18 • Embeddingのコサイン類似度を使用 • Embeddingはtwo-tower NNで学習したもの レコメンド候補の類似度 User Tower Topic Tower User Input Topic Input Topic input = キーワードやカテゴリ User input = トピックの系列
19. 19 考えられるアプローチ 1. Explicit negativeに近い候補を一律に除外 2. Explicit negativeとの類似度をランキングの特徴量に使う 類似するレコメンド候補でも、除外すべきかは細かいコンテキストに依存する ため、後者を選択 Negative feedbackの考慮
20. 20 1. Embeddingを使ってレコメンドの類似度を測る 2. Explicit negativeとの類似度をランキングモデルの特徴量に追加 Negative feedbackを考慮したモデル: 方針
21. 21 1. Embeddingを使ってレコメンドの類似度を測る 2. Explicit negativeとの類似度をランキングモデルの特徴量に追加 Negative feedbackを考慮したモデル: 方針 ⇨ 素朴にやるとうまくいかなかった • ランキングモデルはpositiveなアクションを最適化するように 学習されている • Explicit negativeとの類似度は、特徴量の重要度がほぼ0に なってしまう
22. 22 Negative feedbackを考慮したモデル: 方針その2 1. Embeddingを使ってレコメンドの類似度を測る 2. Explicit negativeとの類似度を特徴量に追加しつつ、positiveと negativeを別々のobjectiveとして学習
23. 23 2つのobjectiveに対してそれぞれモデルを学習 一般には多目的最適化の問題になるが、今回は2つのモデルを独立に学習 ランキングモデル Negative feedback 予測モデル y rank y neg Explicit negativeとの 類似度 & その他特徴量 簡単のためどちらもLightGBMを用い、特徴量も同じ（目的変数やパラメータは異なる）
24. 24 2つのobjectiveに対してそれぞれモデルを学習 一般には多目的最適化の問題になるが、今回は2つのモデルを独立に学習 ランキングモデル Negative feedback 予測モデル y rank y neg Explicit negativeとの 類似度 & その他特徴量 最終スコア y = f(y rank , y neg ) y neg が閾値より高い時にスコアが減 少するような f を定義
25. 25 • レコメンドコンポーネントのCTRやホーム画面経由の購買が有意に上昇 • 特にnegative feedback機能を使っている人の中で見ると、レコメンド コンポーネント経由の購買が10%以上増加 ⇨ Negative feedbackを考慮したモデルをリリース ABテストの結果 Negative feedbackの意図を、レコメンドにより適切に反映できる状態に
26. 26 まとめ • Negative feedback機能を「非表示機能」「モデルでのnegative feedbackの考慮」の二段階で実装 • Negative feedbackを考慮したモデルのリリースにより、ホーム画面の 体験を改善できた • 非表示機能単体ではKPIの改善にならなくても、早くリリースすることで 機能を認知してもらうことが大事だった • モデルの学習ではobjectiveの見直しが不可欠だった
27. 27 現在の課題 KPIやモデル学習におけるobjective設定の重要性を痛感 • ホーム画面のKPIはホーム経由の購買でいいのか？ ◦ 短期的に購買の導線になることが重視されがち ◦ アプリの入り口として、もっと大事な指標があるかも • モデルの学習にはどうやって反映するか？