Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
会社訪問アプリ「Wantedly Visit」における新規ユーザーの行動量に基づいた推薦方策の選択
Search
Yudai Hayashi
March 01, 2024
Technology
0
1.3k
会社訪問アプリ「Wantedly Visit」における新規ユーザーの行動量に基づいた推薦方策の選択
DEIM2024での技術報告の際のスライドです
Yudai Hayashi
March 01, 2024
Tweet
Share
More Decks by Yudai Hayashi
See All by Yudai Hayashi
BigQueryで作る簡単なFeature Store
yudai00
2
180
プロダクトのコードをPandasからPolarsへ書き換えた話
yudai00
7
2.3k
データサイエンティストになって得た学び
yudai00
1
86
社内での継続的な機械学習勉強会の開催のコツ
yudai00
2
610
Polarsを活用した機械学習ジョブの高速化
yudai00
1
160
Voyagerを利用した宿画像の最近傍探索による候補生成
yudai00
1
160
推薦データ分析コンペに参加して得た知見
yudai00
2
370
論文紹介:Unbiased Delayed Feedback Label Correction for Conversion Rate Prediction
yudai00
0
270
機械学習プロジェクトでのPythonアップデートの難しさと得られた知見
yudai00
3
290
Other Decks in Technology
See All in Technology
Oracle Database 23ai 新機能#4 Application Continuity
oracle4engineer
PRO
0
120
RAG: from dumb implementation to serious results
glaforge
0
150
コード✕AIーソフトウェア開発者のための生成AI実践入門~
yuhattor
3
840
今こそ変化対応力を向上させるとき 〜ログラスが FAST に挑戦する理由〜 / Why Loglass is Talking on the Challenge of Agile Framework FAST
shioyang
0
110
UE5の雑多なテク
ryuichikawano
0
410
「ばん・さく・つき・たー!」にならないためにSHIROBAKOから 学んだこと
ysknsid25
3
690
見えづらい活動の成果の伝え方は日頃からめちゃくちゃ悩んでるけど、実際こんな取り組みをしな がら温度感を合わせにいってるよ / Conveying Hard-to-See Results
kakehashi
4
1.9k
軽いノリで"自動化"に取り組んではいけないという話
tetsuyaooooo
1
560
Webセキュリティのあるきかた
akiym
32
11k
YAPC::Hakodateの映像記録を支える技術
godan
4
320
普通の Web エンジニアのための様相論理入門 #yapcjapan / YAPC Hakodate 2024
ytaka23
5
1.5k
【shownet.conf_】ShowNet x 宇宙ネットワーク
shownet
PRO
0
420
Featured
See All Featured
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
10
1.4k
The Power of CSS Pseudo Elements
geoffreycrofte
71
5.3k
Facilitating Awesome Meetings
lara
49
6k
Building a Scalable Design System with Sketch
lauravandoore
459
33k
Adopting Sorbet at Scale
ufuk
73
9k
Happy Clients
brianwarren
97
6.7k
Making Projects Easy
brettharned
115
5.9k
Testing 201, or: Great Expectations
jmmastey
38
7k
How to name files
jennybc
77
99k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
7
580
How to train your dragon (web standard)
notwaldorf
87
5.6k
Why You Should Never Use an ORM
jnunemaker
PRO
53
9k
Transcript
© 2024 Wantedly, Inc. 会社訪問アプリ「Wantedly Visit」におけ る新規ユーザーの行動量に基づいた推薦 方策の選択 DEIM 2024
技術報告 [T3-C-8-05] Mar. 2024 - 林 悠大 (ウォンテッドリー株式会社)
© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦
会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
© 2024 Wantedly, Inc. INTERNAL ONLY 自己紹介 林 悠大 経歴 •
2022年3月:東京大学大学院工学系研究科でPh.D 取得 • 2022年4月:ウォンテッドリー株式会社にデータ サイエンティストとして新卒入社。推薦システム の開発に従事 趣味 • 音楽を聴くこと • ウイスキー
© 2023 Wantedly, Inc. 究極の適材適所により、 シゴトでココロオドルひとをふやす © 2024 Wantedly, Inc.
私たちのミッション
© 2024 Wantedly, Inc. INTERNAL ONLY • 個人と企業がフラットな目線で出会えることで、 より魅力的な場所を見つけることが可能に 会社に遊びに行こう
ミッションや価値観への共感でマッチング • 会社の Why と What が伝えられる場所 • 人と会社を「想い」でマッチング 「話を聞きに行く」体験 会社訪問アプリ「Wantedly Visit」
© 2024 Wantedly, Inc. INTERNAL ONLY 事例紹介:推薦システムの開発・改善
© 2024 Wantedly, Inc. INTERNAL ONLY アカデミアにおける活動 RecSys2023への参加と論文読み会の協賛 国内学会のスポンサー https://event.dbsj.org/
deim2023 DEIM2023 JSAI2023 https://www.ai-gakkai.or.jp/jsai2023/sponsor/
© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦
会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
© 2024 Wantedly, Inc. INTERNAL ONLY 新規ユーザーに対する推薦の重要性と難しさ 新規ユーザー • インタラクション情報が無いので、行動
情報を利用した効果的な推薦が難しい → コールドスタート問題 • ユーザーの属性情報などを活用したコン テンツベース推薦が行われることが多い 新規ユーザーにはサービスの利用意欲が高いユーザーが多く、 利用初期に良い体験をすることが長期的視点から非常に重要
© 2024 Wantedly, Inc. INTERNAL ONLY コンテンツベース推薦と行動ベース推薦 適切なタイミングでコンテンツから行動ベースの推薦へと切り替える ことでユーザーの体験を向上させられる可能性 コンテンツベース推薦
行動ベース推薦 行動情報がなくてもユーザー の嗜好を大まかに捉えられる ユーザーの細かい嗜好の 違いを捉えるのが苦手 ユーザーの細かい嗜好の 違いを捉えられる 行動情報が少ないと良い 推薦を提供できない メリット デメリット
© 2024 Wantedly, Inc. INTERNAL ONLY Wantedly Visitにおけるコンテンツベース推薦 • オンボーディング時に興味のある
ワードを選択してもらう • 選択した興味に応じて募集を推薦 (コンテンツベース推薦) 登録直後から関心のある募集が たくさん表示される体験
© 2024 Wantedly, Inc. INTERNAL ONLY これまでの行動ベース推薦への切り替え手法 ユーザー登録 1日目 2日目
3日目 コンテンツ ベース 行動ベース • ユーザー登録からの経過日数に応じて 行動ベースの推薦へと移行 • 新規ユーザーの行動量はおおよそ均質 だという仮定 ユーザーごとの行動傾向の違いは十分 に考慮できていなかった 新規ユーザーの見る募集のランキング中の方策の比率
© 2024 Wantedly, Inc. INTERNAL ONLY これまでの行動ベース推薦への切り替え手法 たくさん募集を見て回る人 ゆっくり募集を見る人 なかなか自分の嗜好を理解してくれ
ないので応募せずに離脱する たまたま反応した募集に引っ張られて 興味のない募集ばかりが出るように なった 意欲が高いユーザーに意欲の高いうちに良い推薦が出せない ことは大きな損失 どのユーザーでも一定のペースで置き換えが進むと...
© 2024 Wantedly, Inc. INTERNAL ONLY Agenda 1. 企業紹介 ◦
会社とプロダクトの紹介 ◦ プロダクトにおけるデータサイエンスの活用事例 ◦ アカデミアにおける活動 2. 新規ユーザーへの推薦の難しさと重要性 ◦ コールドスタート問題に対処する重要性 ◦ Wantedly Visitにおける「ユーザーが選択した興味」による推薦 3. 新規ユーザーに提供する推薦を行動量によって変える取り組み ◦ コンテンツベース推薦と行動ベース推薦の切り替えタイミングを ユーザーごとに最適化 ◦ オンラインテストの結果と考察
© 2024 Wantedly, Inc. INTERNAL ONLY どのようにして「ユーザーごとの切り替え最適化」を行うか 意欲が高い新規ユーザーに「早く」良い推薦を届けるという 観点から、ルールベースでの切り替えをする判断 ルールベース
バンディット • ユーザーの反応を受けながら 方策を調整可能 • フィードバックにノイズが含 まれる場合に収束が遅くなる • 収束速度をある程度制御で きる • ユーザーの反応を方策選択 の調整に十分活用できない
© 2024 Wantedly, Inc. INTERNAL ONLY ログ蓄積による行動ベース推薦の性能変化の事前実験 ユーザーを行動量によってセグメントわけ 評価指標:nDCG •
コンテンツベースランキングはユー ザーの行動量にほとんど依存しない • 行動ベースランキングはユーザーの 行動量が一定値を超えたときに興味 によるランキングの性能を上回る 閾値前後で出す方策を変化させることで よりよい切り替えが実現できると期待
© 2024 Wantedly, Inc. INTERNAL ONLY オンラインテストによる検証 新規ユーザーを対象としてA/Bテストを実施 • control
◦ 登録からの経過日数に応じ てコンテンツベースの割合 を減らしていく • treatment ◦ 行動量が一定値を超えたと きにコンテンツベース推薦 を出さなくする
© 2024 Wantedly, Inc. INTERNAL ONLY オンラインテストによる検証 新規ユーザーの応募行動を活発化させる効果が観測された 意欲の高いユーザーの体験を向上させることができたか? •
活発に行動するユーザーが最初に応募するまでの日数を短縮 → 自分の行動に即した募集がより早く表示されるようになることで、応募し たいと思う募集に出会えるまでの期間を短縮できたと予想 • 登録後に長期的に利用するユーザーが増加 → 登録初期に良い体験をすることができたことで長期的なサービス利用意欲 が高まったと予測
© 2024 Wantedly, Inc. INTERNAL ONLY まとめ • 課題:意欲が高い新規ユーザーに対して、意欲が高いうちに十分良い推薦 を届けられていない
• 対処法:新規ユーザーの行動量に応じて提供する推薦モデルの比率を調整 • 結果:ユーザーの応募行動を促進 • 考察:意欲的なユーザーに早く良い募集を推薦することで体験が向上し、 その後の継続的なサービス利用につながった
© 2024 Wantedly, Inc. INTERNAL ONLY We are hiring!