Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
会社訪問アプリ「Wantedly Visit」における新規ユーザーの行動量に基づいた推薦方策の選択
Search
Yudai Hayashi
March 01, 2024
Technology
0
1.2k
会社訪問アプリ「Wantedly Visit」における新規ユーザーの行動量に基づいた推薦方策の選択
DEIM2024での技術報告の際のスライドです
Yudai Hayashi
March 01, 2024
Tweet
Share
More Decks by Yudai Hayashi
See All by Yudai Hayashi
BigQueryで作る簡単なFeature Store
yudai00
2
150
プロダクトのコードをPandasからPolarsへ書き換えた話
yudai00
7
2.2k
データサイエンティストになって得た学び
yudai00
1
61
社内での継続的な機械学習勉強会の開催のコツ
yudai00
2
590
Polarsを活用した機械学習ジョブの高速化
yudai00
1
140
Voyagerを利用した宿画像の最近傍探索による候補生成
yudai00
1
150
推薦データ分析コンペに参加して得た知見
yudai00
2
350
論文紹介:Unbiased Delayed Feedback Label Correction for Conversion Rate Prediction
yudai00
0
250
機械学習プロジェクトでのPythonアップデートの難しさと得られた知見
yudai00
3
270
Other Decks in Technology
See All in Technology
バックログを導入し やっぱやめた話
ota42y
0
170
デジタル化・DX推進あるある
y150saya
0
220
実践ジオフェンス 効率的に開発するために
navitimejapan
PRO
2
130
Oracle Exadata Database Service(Dedicated Infrastructure):サービス概要のご紹介
oracle4engineer
PRO
0
9.3k
Oracle Database Backup Service:サービス概要のご紹介
oracle4engineer
PRO
0
4k
20240828_EM_Fest
kzkmaeda
4
360
中規模・ミドルTier開発組織におけるDevRelの戦略と実行と成果 - DevRel Guild Conference Mini -
leveragestech
2
260
FastConnect の冗長性
ocise
0
7.1k
Binary Authorizationと友達になろう / Let's be friends with Binary Authorization
iselegant
2
130
タイミーのBraze活用 ~PUSH通知を活用したレコメンド~
ozeshun
2
120
AWS IAM Identity Center議論会 〜 認証認可結合モデルと認証認可分離モデル / 20240827-jawsug-arch-iam_identity_center
opelab
3
320
Datadogの便利な使い方 - 意外と知らない?CoScreenとCloudcraft
taijihagino
PRO
1
600
Featured
See All Featured
In The Pink: A Labor of Love
frogandcode
139
22k
Become a Pro
speakerdeck
PRO
22
4.8k
Visualization
eitanlees
142
15k
WebSockets: Embracing the real-time Web
robhawkes
59
7.3k
Building Better People: How to give real-time feedback that sticks.
wjessup
359
18k
The Invisible Customer
myddelton
119
13k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
52k
The Art of Programming - Codeland 2020
erikaheidi
48
13k
The Invisible Side of Design
smashingmag
295
50k
BBQ
matthewcrist
83
9.1k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
26
1.9k
Designing on Purpose - Digital PM Summit 2013
jponch
113
6.8k
Transcript
© 2024 Wantedly, Inc. 会社訪問アプリ「Wantedly Visit」におけ る新規ユーザーの行動量に基づいた推薦 方策の選択 DEIM 2024
技術報告 [T3-C-8-05] Mar. 2024 - 林 悠大 (ウォンテッドリー株式会社)
© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦
会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
© 2024 Wantedly, Inc. INTERNAL ONLY 自己紹介 林 悠大 経歴 •
2022年3月:東京大学大学院工学系研究科でPh.D 取得 • 2022年4月:ウォンテッドリー株式会社にデータ サイエンティストとして新卒入社。推薦システム の開発に従事 趣味 • 音楽を聴くこと • ウイスキー
© 2023 Wantedly, Inc. 究極の適材適所により、 シゴトでココロオドルひとをふやす © 2024 Wantedly, Inc.
私たちのミッション
© 2024 Wantedly, Inc. INTERNAL ONLY • 個人と企業がフラットな目線で出会えることで、 より魅力的な場所を見つけることが可能に 会社に遊びに行こう
ミッションや価値観への共感でマッチング • 会社の Why と What が伝えられる場所 • 人と会社を「想い」でマッチング 「話を聞きに行く」体験 会社訪問アプリ「Wantedly Visit」
© 2024 Wantedly, Inc. INTERNAL ONLY 事例紹介:推薦システムの開発・改善
© 2024 Wantedly, Inc. INTERNAL ONLY アカデミアにおける活動 RecSys2023への参加と論文読み会の協賛 国内学会のスポンサー https://event.dbsj.org/
deim2023 DEIM2023 JSAI2023 https://www.ai-gakkai.or.jp/jsai2023/sponsor/
© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦
会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
© 2024 Wantedly, Inc. INTERNAL ONLY 新規ユーザーに対する推薦の重要性と難しさ 新規ユーザー • インタラクション情報が無いので、行動
情報を利用した効果的な推薦が難しい → コールドスタート問題 • ユーザーの属性情報などを活用したコン テンツベース推薦が行われることが多い 新規ユーザーにはサービスの利用意欲が高いユーザーが多く、 利用初期に良い体験をすることが長期的視点から非常に重要
© 2024 Wantedly, Inc. INTERNAL ONLY コンテンツベース推薦と行動ベース推薦 適切なタイミングでコンテンツから行動ベースの推薦へと切り替える ことでユーザーの体験を向上させられる可能性 コンテンツベース推薦
行動ベース推薦 行動情報がなくてもユーザー の嗜好を大まかに捉えられる ユーザーの細かい嗜好の 違いを捉えるのが苦手 ユーザーの細かい嗜好の 違いを捉えられる 行動情報が少ないと良い 推薦を提供できない メリット デメリット
© 2024 Wantedly, Inc. INTERNAL ONLY Wantedly Visitにおけるコンテンツベース推薦 • オンボーディング時に興味のある
ワードを選択してもらう • 選択した興味に応じて募集を推薦 (コンテンツベース推薦) 登録直後から関心のある募集が たくさん表示される体験
© 2024 Wantedly, Inc. INTERNAL ONLY これまでの行動ベース推薦への切り替え手法 ユーザー登録 1日目 2日目
3日目 コンテンツ ベース 行動ベース • ユーザー登録からの経過日数に応じて 行動ベースの推薦へと移行 • 新規ユーザーの行動量はおおよそ均質 だという仮定 ユーザーごとの行動傾向の違いは十分 に考慮できていなかった 新規ユーザーの見る募集のランキング中の方策の比率
© 2024 Wantedly, Inc. INTERNAL ONLY これまでの行動ベース推薦への切り替え手法 たくさん募集を見て回る人 ゆっくり募集を見る人 なかなか自分の嗜好を理解してくれ
ないので応募せずに離脱する たまたま反応した募集に引っ張られて 興味のない募集ばかりが出るように なった 意欲が高いユーザーに意欲の高いうちに良い推薦が出せない ことは大きな損失 どのユーザーでも一定のペースで置き換えが進むと...
© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦
会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
© 2024 Wantedly, Inc. INTERNAL ONLY どのようにして「ユーザーごとの切り替え最適化」を行うか 意欲が高い新規ユーザーに「早く」良い推薦を届けるという 観点から、ルールベースでの切り替えをする判断 ルールベース
バンディット • ユーザーの反応を受けながら 方策を調整可能 • フィードバックにノイズが含 まれる場合に収束が遅くなる • 収束速度をある程度制御で きる • ユーザーの反応を方策選択 の調整に十分活用できない
© 2024 Wantedly, Inc. INTERNAL ONLY ログ蓄積による行動ベース推薦の性能変化の事前実験 ユーザーを行動量によってセグメントわけ 評価指標:nDCG •
コンテンツベースランキングはユー ザーの行動量にほとんど依存しない • 行動ベースランキングはユーザーの 行動量が一定値を超えたときに興味 によるランキングの性能を上回る 閾値前後で出す方策を変化させることで よりよい切り替えが実現できると期待
© 2024 Wantedly, Inc. INTERNAL ONLY オンラインテストによる検証 新規ユーザーを対象としてA/Bテストを実施 • control
◦ 登録からの経過日数に応じ てコンテンツベースの割合 を減らしていく • treatment ◦ 行動量が一定値を超えたと きにコンテンツベース推薦 を出さなくする
© 2024 Wantedly, Inc. INTERNAL ONLY オンラインテストによる検証 新規ユーザーの応募行動を活発化させる効果が観測された 意欲の高いユーザーの体験を向上させることができたか? •
活発に行動するユーザーが最初に応募するまでの日数を短縮 → 自分の行動に即した募集がより早く表示されるようになることで、応募し たいと思う募集に出会えるまでの期間を短縮できたと予想 • 登録後に長期的に利用するユーザーが増加 → 登録初期に良い体験をすることができたことで長期的なサービス利用意欲 が高まったと予測
© 2024 Wantedly, Inc. INTERNAL ONLY まとめ • 課題:意欲が高い新規ユーザーに対して、意欲が高いうちに十分良い推薦 を届けられていない
• 対処法:新規ユーザーの行動量に応じて提供する推薦モデルの比率を調整 • 結果:ユーザーの応募行動を促進 • 考察:意欲的なユーザーに早く良い募集を推薦することで体験が向上し、 その後の継続的なサービス利用につながった
© 2024 Wantedly, Inc. INTERNAL ONLY We are hiring!