タイミーにおける H3を活用したレコメンドの改善事例

Transcript

1. 2024/04/11 Recommendation Industry Talks #2 株式会社タイミー Shunsuke Ozeki タイミーにおける H3を活用したレコメンドの改善事例 @ozeshun_
2. 自己紹介 2 小関 俊祐（Shunsuke Ozeki）/ @ozeshun_ - お仕事 - 2022年にDSとしてタイミーに入社 - MLモデルの改善、ML pipelineの構築、 推薦API基盤の運用など幅広くやってます - 最近検索にも手を出し始めました - 趣味 - 野球全般。ロッテ、レンジャースが好き - 海外旅行 - 個人開発的な
3. 目次 • サービス紹介 • タイミーにおけるレコメンド • H3を活用したKPIの改善事例 • まとめ
4. サービス紹介
7. タイミーにおけるレコメンド
8. タイミーのレコメンド機能 さがすタブ おきにいりタブ おすすめのお仕事 アプリの「さがすタブ」と「おきにいりタブ」に表示されるバナーをタップすると、 パーソナライズされたおすすめの仕事が表示されるという形で、レコメンド機能は実装されています 8
9. レコメンドにおいて現在取り組んでいること 1. 生存サイクルの短いアイテムを扱うのに適した推薦システムの構築 - 募集が出てからすぐ締切になってしまうお仕事が大半を占めています - 募集の埋まり具合をリアルタイムに反映するためにオンライン化を進めています 2. ワーカーと店舗間の地理的な関係を正確に捉えられるアルゴリズムの構築 → 今回はこちらに着目してお話しします 9
10. ワーカーと店舗間の地理的な関係 実際に店舗に行って働く必要があるので、ワーカーの生活圏に合わせた推薦が重要 - アプリの利用履歴から生活圏の推定をすることが重要になる*1 🟨: 働いた場所 例1: 居住地、職場近辺、利用路線周辺で働くパターン 例2: 居住地近くのみで働くパターン 🟨: 働いた場所 10 *1 アプリでの位置情報取得を許諾していないワーカーが一定数いる事から
11. H3を活用したKPIの改善事例
12. H3とは Uber社が開発している、地理空間を六角形のセルで分割するグリッドシステムです - タイミーでは、分析や可視化にH3をよく利用しています - 利点としては、様々な解像度でのマルチスケールな分析が出来ることや、位置の量子化誤差を最小 限に抑えたグリッドを表現できることが挙げられます * いずれも実際のデータを使用した図ではありません 例1: Resolution 7の場合 例2: Resolution 6の場合 * Resolutionについてはこちらを参照 12
13. H3を特徴量として活用するまで存在していた課題 以下のパターンを持つワーカーに対しての推薦の精度が低かった - 登録住所エリアから離れた場所でのみ働くワーカー - 複数の生活圏があり、その周辺で働くワーカー なぜか - 登録住所から店舗までの距離をベースにした特徴量を使用しており、 その特徴量の効き方が強すぎて、どんなワーカーに対しても登録住所から近い募集の みを推薦しがちだった - 登録住所から店舗までの距離をベースにした特徴量の例 - 登録住所から店舗までの距離そのもの - 登録住所から何kmぐらいの店舗を閲覧、お気に入り、勤務しているか 13
14. 推薦が上手くいっていた例 実際に働いた場所 登録住所周辺でのみ働くワーカー - よく働いている登録住所付近が適切に推薦出来ている 推薦結果 14 * いずれも実際のデータを使用した図ではありません
15. 推薦が上手くいっていなかった例① 実際に働いた場所 登録住所エリアから離れた場所でのみ働くワーカー - 登録住所から離れた場所で働いているのにもかかわらず、住所付近ばかり推薦してしまっている 推薦結果 15 * いずれも実際のデータを使用した図ではありません
16. 推薦が上手くいっていなかった例② 実際に働いた場所 複数の生活圏があり、その周辺で働くワーカー - 働いた場所が、川崎駅、新橋駅周辺に分布しているが、自宅に近い川崎駅周辺のみを 推薦してしまっている 推薦結果 16 * いずれも実際のデータを使用した図ではありません
17. 解決策に至るまでの仮説 17 - 今までは住所から店舗までの距離の特徴量の影響で、灰色の圏内の店舗しか推薦出来ていなかった - 灰色に加えて緑色の生活圏も捉えられる特徴量を追加できれば、どんなワーカーに対しても良い推薦が 実現出来るはず 登録住所周辺でのみ働く 登録住所エリアから 離れた場所でのみ働く 複数のエリアで働く
18. 課題に対してどうアプローチしたか ワーカーと店舗の地理的な関係を表す特徴量を、住所と店舗間の距離ではなく、 H3 によって分割されたセルを用いて表現した どんな特徴量を作った？ - 推薦候補の店舗が属するセルに対して、ワーカー個人が閲覧、お気に入り、勤務履歴 が何回あるかを表す特徴量など... なぜそのようなアプローチを選択したのか？ - H3ベースの特徴量を用いることで前ページの仮説を実現できると考えたから - つまり、元々良い推薦を受け取っていたワーカーへの精度の悪化無しに、 その他のワーカーへの推薦精度の向上が期待できる 18
19. 実験設計 Control群 - 登録住所から店舗への距離をベースにした特徴量を使用したモデルを適用 Test群 - H3ベースの特徴量を使用したモデルを適用 - 登録住所から店舗への距離をベースにした特徴量は削除 19
20. 実験の結果 Test群において各種KPIが向上 🎉 - レコメンド経由の申込数が約30%向上 - レコメンド経由のお気に入り数が約15%向上 推薦の精度が低かった以下のパターンのワーカーに対しての精度が改善 🎉 - 登録住所エリアから離れた場所でのみ働くワーカー - 複数の生活圏があり、その周辺で働くワーカー 20
21. 推薦結果が改善した例① 実際に働いた場所 登録住所エリアから離れた場所でのみ働くワーカー - 住所から離れた場所でも、働いた実績のある場所の募集を推薦出来る様になった 新アルゴリズムによる推薦結果 旧アルゴリズムによる推薦結果 21 * いずれも実際のデータを使用した図ではありません
22. 推薦結果が改善した例② 実際に働いた場所 複数の生活圏があり、その周辺で働くワーカー - 働いた実績のある川崎駅、新橋駅等の京浜東北線沿線の募集を推薦出来る様になった - また、普段利用していると思われる路線を捉えた推薦も可能になってきた 新アルゴリズムによる推薦結果 旧アルゴリズムによる推薦結果 22 * いずれも実際のデータを使用した図ではありません
23. まとめ
24. まとめ タイミーのレコメンドにおいて現在取り組んでいること - 生存サイクルの短いアイテムを扱うのに適した推薦システムの構築 - ワーカーと店舗間の地理的な関係を正確に捉えられるアルゴリズムの構築 →　今回はこちらに着目してお話しました H3を活用したKPIの改善事例 - 課題 - ワーカーの生活圏に合わせた推薦が提供できていなかった - どう対応したか - ワーカーの生活圏の捉える事を目的に、H3をベースにした特徴量をモデルに追加した - 結果 - ワーカーの生活圏を捉えた推薦が可能になり、各種KPIが向上した 24
25. Thank you